【TechWeb】8月31日消息,在华为云TechWave大数据专题日上,华为云发布了GaussDB(DWS)实时数仓,工商银行、广东移动、清华大学等分享了大数据技术创新及应用实践。
围绕数据全生命周期提供整体解决方案
华为云人工智能领域总裁贾永利表示,“随着技术的演进,数据也发生了巨大变化:数据规模越来越大、数据种类呈现多样性、数据处理时效性要求越来越高,同时对数据融合分析要求越来越强烈。为了帮助企业应对大数据的各种挑战,华为云推出了智能数据湖FusionInsight,围绕客户在采存算管用等数据全生命周期提供整体解决方案。”
华为云FusionInsight智能数据湖方案主要包含MRS大数据、GaussDB(DWS)数据仓库、GES图计算、一站式数据运营平台DAYU等云服务。其中,华为云FusionInsight MRS大数据、GaussDB(DWS)数据仓库,可助力客户在数字化转型中构建坚实的数据底座,并通过hetuEngine数据虚拟化引擎简化用数,提高效率。
同时,为标准化多样性数据,一站式数据运营平台DAYU向下可接入日志、文本、视频、音频、图片等各类型数据,基于多样性算力与CarbonData实现全局一份数据的统一格式存储;向上为伙伴开发50+数据集成开发API,使能数据,携手生态伙伴打造各行业应用。
目前,华为云FusionInsight已广泛应用于政府、金融、运营商、大企业、互联网等行业,携手800多家合作伙伴,为全球60多个国家和地区的3000多家政企客户提供服务。
为了响应政企用户在IoT和运维监控等场景下对数据仓库时效性的需求,华为云发布了GaussDB(DWS) 实时数仓新品,其具备快、易、简、省四大特点:
1)快:实时数仓时序数据单机入库性能支持每秒10万条数据、每秒60万条流数据持续计算入库,并可线性扩展。
2)易:支持基于SQL完成复杂流式计算语义定义,简化开发。以Druid监控的一个场景为例,仅用150行SQL代码实现了原有1900 行Druid脚本同样的功能。
3)简:实现了1 = N。在一个平台内,同时实现Flink/Spark Streaming(流数据处理)+Druid(流数据预聚合)+InfluxDB(时序数据处理),简化了开发和运维工作。
4)省:时序数据经过实时数仓的自适应压缩算法,最高可达40:1的压缩比,将多维度行列存储优化,数据冷热温自动分区,极大地减少存储空间,节省用户成本。