戴尔易安信流数据处理平台,旨在为编写可靠的流式应用程序提供基础
来源:www.028fwq.cn 发布时间:2021/10/28 13:40:24
戴尔科技集团从零开始构建了一套实时流式数据分析与存储解决方案——戴尔易安信流数据处理平台(Streaming Data Platform,SDP),旨在为编写可靠的流式应用程序提供基础。

成都戴尔服务器代理商指出,该平台在K8s上构建,采用微服务架构,通过统一的K8s Operator方式部署Pravega与Flink,集合了存储和计算平台,并且实现安全、多租户等诸多特性,为企业用户提供了一体化的数据存储和分析平台。


成都戴尔服务器代理商


SDP基础的组件是它的流式数据存储引擎,即Pravega。成都戴尔服务器代理商告诉我们,作为平台内的自研开源组件,Pravega承担着为所有其它组件提供流式数据存取服务的重任,用以简化实时数据处理和存储需求。

Pravega采用了分层存储架构。事件可以存储在低延迟/高IOPS的存储(第 一层存储)和更高吞吐量的存储(第二层存储)中。通过这种方式,冷热数据分离有效降低了数据存储成本。


Pravega专注于流式数据存储的可靠性和实时性,同时提供批流一体的Stream API。它解决了大数据处理系统面临的“计算是原生的流计算,而存储却不是原生的流存储”难题。经过Pravega抽象后的流式数据具有持久性、伸缩性、只追加等一系列特性。


本次大赛吸引到23个团队同场竞技,探索开源编程领域的更多可能性。从网约车危险驾驶行为实时监控与预警、工业物联网操作系统,到流计算在计算机视觉领域的应用,这些沪上“长宁区大神”、“数据高手”使用数据流和Pravega创建代码,向外界展示创新带来的价值。

经过严格的初选之后,共有十支参赛团队而出,跻身决赛。这些进一步向评委们阐释了各自的项目,充分展现出团队对于创新和开源平台的坚持和信念。

来自戴尔中国研发中心E-LAB和OCTO团队、云原生计算基金会(CNCF)Pravega社区团队、Apache Flink 社区团队、T-Footprint团队以及初创公司MatrixOrigin团队,凭借各自的项目赢得了评委们的青睐!

目前,Pravega在游乐园设施的预防性维护、工业物联网中的异常检测、建筑业中施工的资源跟踪等方面,均发挥了作用。






返回列表