实时数仓Hologres_交互式分析MaxCompute-阿里云

实时数仓Hologres(原交互式分析)
播放视频
Hologres是一站式实时数据仓库引擎,支持海量数据实时写入、实时更新、实时分析,支持标准SQL(兼容PostgreSQL协议),支持PB级数据多维分析(OLAP)与即席分析(Ad Hoc),支持高并发低延迟的在线数据服务(Serving),与MaxCompute、Flink、DataWorks深度融合,提供离在线一体化全栈数仓解决方案。

产品优势

一站式实时数仓
专注实时场景
数据实时写入、实时更新,写入即可见,与Flink原生集成,支持高吞吐、低延时、有模型的实时数仓开发,满足业务洞察实时性需求。
亚秒级交互式分析
支持海量数据亚秒级交互式分析,无需预计算,支持多维分析、即席分析、探索式分析、MaxCompute加速分析,满足所见即所得分析体验。
统一数据服务出口
支持多维分析、高性能点查、数据检索等多个场景,支持负载隔离,简化数据架构,统一数据访问接口,实践分析服务一体化(HSAP)。
开放生态
标准SQL协议,无缝对接主流BI和SQL开发框架,无需应用重写。支持数据湖场景,支持JSON等半结构化数据,OSS、DLF简易入仓。

产品功能

构建企业级实时数据仓库与实时数据中台
多场景查询分析支持行存、列存等存储模式和多种类索引,同时满足简单查询、复杂查询、Ad Hoc查询等多样化的分析查询需求。使用大规模并行处理架构,分布式处理SQL,高资源利用率,实现海量数据极速分析,分析服务一体化(Hybrid Serving/Analytical Processing, HSAP)最佳实践。
亚秒级交互式分析(OLAP)采用可扩展的MPP架构全并行计算,向量化算子发挥CPU极致算力,ORC格式列存优化索引,SSD存储优化IO,支持PB级数据亚秒级交互式分析体验。
高性能主键点查(Serving)基于行存表的主键索引和查询引擎的短路径优化,支持每秒数十万QPS高性能服务型点查,支持高吞吐更新,相比开源系统性能提升10倍以上。
联邦查询,外表加速(Federation)无缝对接MaxCompute,无需数据移动,支持外表透明加速BI访问,支持冷热数据关联分析,支持百万级每秒数据高速同步,支持OSS外表读写,简化数据入湖入仓。
云原生实时数仓针对实时数仓数据更新频繁,加工敏捷,分析灵活自助的特性,支持高并发实时写入与更新,支持事务隔离与原子性,数据写入即可查。
高吞吐实时写入与更新与Flink、Spark等计算框架原生集成,通过内置Connector,支持高通量数据实时写入与更新,支持源表、结果表、维度表多种场景,支持多流合并等复杂操作。
所见即所得的开发数据实时写入即可查询,支持DB、Schema、Table三级体系,支持视图View,原生支持Update/Delete,支持关联、嵌套、窗口等丰富表达能力,支持半结构JSON数据。
全链路事件驱动支持表更新事件的Binlog透出能力,通过Flink消费Hologres Binlog,实现数仓层次间全链路实时开发,满足分层治理的前提下,缩短数据加工端到端延迟。
企业级运维存储计算分离架构,计算存储独立弹性伸缩,支持计算负载、访问权限等细粒度管控要求,提供丰富的监控和告警,支持系统热升级,满足企业级安全可靠的运维需求。
数据安全支持细粒度访问控制策略,支持BYOK数据存储加密和数据脱敏,支持数据保护伞、IP白名单,支持RAM、STS及独立账号等多种认证体系,通过PCI-DSS安全认证。
负载隔离支持基于资源组的负载隔离,隔离不同业务需求,不同查询类型,写入和读取等资源竞争场景,保障系统的持续稳定。
高可靠设计多个计算实例组成高可靠部署模式,实例间共享存储,支持故障隔离和在线服务高可用,支持故障节点快速自动恢复。存储计算分离,资源独立扩展,无需本地盘,盘古三副本高可靠冗余存储。
生态与可扩展性兼容PostgreSQL生态,与大数据计算引擎及大数据智能研发平台DataWorks无缝打通。无需额外学习,即刻上手开发。
兼容PostgreSQL生态兼容PostgreSQL生态,提供JDBC/ODBC接口,轻松对接第三方ETL和BI工具,包括QuickBI、DataV、Tableau、帆软等。支持GIS空间数据分析。
DataWorks开发集成与DataWorks深度集成,提供图形化、智能化、一站式的数仓搭建和交互式分析服务工具,支持数据资产、数据血缘、数据实时同步、数据服务等企业级能力。
达摩院Proxima向量检索与机器学习平台PAI紧密结合,内置达摩院Proxima向量检索插件,支持在线实时特征存储、实时召回、向量检索。

应用场景

助力业务快速腾飞
电商:实时推荐和精准营销
互联网社交:实时多维分析
物流:实时订单分析和实时监控
互联网服务:数据中台和实时大屏
基于流量数据的实时精准营销
随着流量红利逐步消失、拉新成本飞速上升等问题,某跨境电商公司业务发展需要从原始的野蛮生长逐步转型,原传统Lambda架构复杂,无法支撑多维指标细粒度分析,不能达到精细化运营的目的。通过实时数仓升级,稳定支撑历年双11,节约成本近50%,提效300%,实现实时精准营销。
场景优势
实时业务推荐
以Hologres行存表替换HBase,Flink实时关联Hologres维表,实时生成用户标签,助力业务实时运营决策,实时用户触达和推荐。
灵活多维分析
标准SQL语法,充分支持精细化运营复杂多维分析诉求,数据加工延迟从3小时加速到实时,多表关联join秒级返回,流量匹配效率提升300%。
成本节省50%
Flink+Hologres一套架构支持多种业务场景,弹性扩缩容,运维更简单,有效节省资源近50%。
推荐搭配使用
基于用户日志数据的实时多维分析
某互联网社交公司原先通过自建ClickHouse进行实时多维分析,但随着业务增长,推荐业务在典型OLAP分析场景需要更加实时的调整策略和更新模型,以达到召回、精细化运营的目的。通过Hologres替换自建ClickHouse,构筑全链路精细化运营,满足ABTest场景下复杂的探索式分析。
场景优势
实时更新效率高
替换自建ClickHouse,Hologres有主键,可以精确去重,与Flink深度集成,支持高吞吐实时写入和更新。
轻松查询大量数据
相比自建ClickHouse,可轻松对7天甚至15天数据,千亿级别数据实时多维分析,满足业务不同查询需求。
免运维
Hologres存储计算分离,存储计算资源独立扩展,可轻松存15天数据,动态扩缩容免运维,只需要专注于业务开发。
推荐搭配使用
基于物流数据的实时订单分析和实时监控
某货运物流公司其大数据部门一直在探索建设新一代数仓,但一直没有取得很大突破,无法让数据发挥更大价值。通过Hologres建立的新一代实时数仓,替换原有ES、HBase等架构,解决千万级订单数据实时分析慢和上百万货运司机物流实时调度难的问题。
场景优势
订单数据灵活分析
减少了维度退化的设计,支持千万订单数据实时多维分析,提升业务查询灵活性和开发效率。
交付效率由几天提升到几分钟
替换HBase,由Hologres提供在线服务的能力,实时监控物流和仓库异常,提高监控服务的稳定性和物流交付效率。
统一数据服务出口减少架构冗余
实时和离线整合成一套架构,共同使用一份数据,统一数据服务出口,数据处理时效性提升,减少架构冗余。
推荐搭配使用
基于业务日志的实时大屏和数据中台
某互联网服务公司原先通过Greenplum、EMR离线架构来搭建实时数仓,但数据更新时效性差,无法实时掌握业务动态。为实现全场景的用户增长需求,采用Flink+Hologres新一代实时数仓,基于业务日志数据构建实时大屏和数据中台系统,加速知识数据探索,促进业务快速发展。
场景优势
报表查询秒级响应
完美支撑营收额、订单量等指标实时报表查询,满足企业运营中对于数据时效性越来越高的要求,秒级响应。
实时监控实时决策
通过Hologres提供的高并发读写能力,关联设备状态表,可以实时更新状态,满足CRM系统对设备(充电宝)的实时查询和监控,并助力业务实时决策。
降低运维开销
替换开源Hive、Impala等,精简业务架构,避免数据孤岛以及一致性、安全性等问题,降低了开发、运维维护开销。
推荐搭配使用

产品功能对比

为什么选择Hologres?
产品定位
场景能力
系统架构
引擎能力
SQL支持
数据更新
查询引擎
存储引擎
运维能力
资源弹性
拥有成本
企业级支持
云原生实时数仓 Hologres
一站式实时数仓,支持OLAP、Ad Hoc和高QPS点查
云原生计算存储分离架构,多节点并行写入,并行计算
支持标准SQL,兼容PostgreSQL 11协议
实时写入,实时更新,写入即可见,支持主键约束
分布式、向量化、异步化执行引擎,性能稳定
行存列存两种存储,基于盘古系统,针对SSD优化
计算、存储按需弹性独立扩展,无需数据搬迁
支持按使用计费,支持数据冷热存储,整体拥有成本更低
负载隔离、高可用、细粒度权限、数据加密等
传统OLAP引擎(Greenplum、Presto、Impala、ClickHouse、Vertica等)
面向多维分析(OLAP),适合静态报表展示
非云原生架构,扩展成本高,集群规模有限
支持有限SQL,对复杂Join、子查询等支持效率低
批量导入,无法灵活更新,数据时效性低
在高并发、复杂查询场景下不稳定,抖动
以列存为主,存储为HDD顺序扫描设计
资源架构耦合,资源无法独立扩展
购买软件License费用,人才招聘成本高
开源软件为主,在治理、安全方面能力较少
产品定位
场景能力
数据模型
数据建模
查询接口
分析能力
数据开发
开发方式
拥有成本
云原生实时数仓 Hologres
一站式实时数仓,支持灵活分析和高性能点查
强Schema,支持丰富数据类型
完善支持SQL,针对Scan场景高度优化,灵活度高
海量数据亚秒级查询,支持Join,主键高QPS主键点查
面向数仓主题开发,支持表嵌套、关联等复杂场景
一套架构,多个场景,减少数据割裂,整体拥有成本更低
传统Key/Value数据库(HBase、Cassandra、Redis)等)
支持基于Key/Value接口的高性能点查
弱Schema,弱数据类型,排查数据质量问题难
专有API,需第三方扩展支持有限SQL
支持点查和前缀扫描,不支持复杂多维计算,支持高QPS点查
开发复杂,系统效率依赖主键设计,中间表多
多套系统,多次数据导入导出,运维复杂

客户案例

小影科技数据开发专家 宋程 :
随着公司业务快速增长,多款矩阵产品上线,数据量也随之增多;导致查询系统磁盘使用率达95%以上,CPU使用率达100%,原平台已无法满足业务线的事件查询需求。为了更好地提供数据服务,我们选择了holo,实现了海量级数据存储及快速查询,可存放数据量从原先1个月扩展至1年,且查询效率提升89.17%。
二维火大数据负责人 芦丁:
二维火是一家专注云计算餐饮软件系统研发和应用,拥有阿里云超过5000服务器,服务商户50w家。大数据团队通过阿里云大数据服务MaxCompute来对餐厅或零售店的进、销、存等数据进行H+1/T+1统计,并利用交互式分析Hologres满足对百亿级离线数据进行高并发、秒级的分析处理,提供近80多种不同类型的报表,包括:营业、订单、菜品、会员等报表,为店铺发展提供多维度分析透视和业务探索。
58快狗大数据实时计算负责人 陶王飞:
我们基于Hologres所做的实时统一数据服务,大部分情况下,提供亚秒级的简单即席查询返回效率,大大的推动了业务的实时化变革,同时解决之前底层多种存储引擎带来的一系列问题。另外,针对一部分较为不常规的实时数据需求,借助Hologres的高性能,直接基于明细数据,减少了针对化开发、同时增强了灵活性、提升开发效率。
小迈高级数仓开发工程师 李云:
小迈科技是一家围绕高质量APP、用户增长和商业化变现的数字化广告公司,通过大数据技术搭建了10+应用系统来赋能业务数字化运营。但随着用户量指数级增长,业务团队对数据实时化、精细化的要求提升,大数据系统开始备受挑战。小迈科技通过引入Hologres搭建的实时数仓,支撑了百亿级的业务数据复杂多维分析秒级响应,提升了数据的查询和写入时效性,并通过Hologres读写分离实例部署增强了系统高可用能力,助力业务快速发展。

产品规格

总有一款适合你的业务

产品动态

一手动态推送
2019-08-30 新产品
交互式分析 - 交互式分析(Interactive Analytics)公测发布
查看详情
2020-03-20 新产品
阿里云智能 交互式分析(Hologres) 商业化发布
查看详情
2020-07-31 新地域/可用区
交互式分析 Hologres 在香港、新加坡、美国(硅谷)、马来西亚(吉隆坡)区域正式推出
查看详情
2020-07-31 新功能
交互式分析 Hologres - 一站式数据开发和管理平台HoloWeb正式上线
查看详情
2020-08-26 体验优化
阿里云交互式分析Hologres与MaxCompute、DataWorks产品组合售卖功能发布
查看详情
2020-08-28 新功能
交互式分析 Hologres 支持按量付费转包年包月
查看详情
2020-10-27 新版本/新规格
MaxCompute交互式分析(Hologres)V0.8 发布,引擎能力增强
查看详情
2020-11-20 新版本/新规格
交互式分析Hologres共享集群(MaxCompute BI加速版)公测发布
查看详情
2021-01-25 新版本/新规格
MaxCompute交互式分析(Hologres)V0.9 发布,吞吐提升
查看详情
2021-03-16 新地域/可用区
交互式分析 Hologres 在华北3(张家口)正式开服
查看详情
2021-04-01 价格调整
包月版本、按量付费版的国内站用户存储单价下调50%
查看详情
2021-05-17 新功能
Hologres与MaxCompute集成深入,外表提速30%,内置执行MC DDL函数
查看详情
2021-05-20 新功能
运维能力增强,慢查询透出
查看详情
2021-05-24 新功能
支持自动表采样,生成更优执行计划
查看详情
2021-06-01 新功能
新增RoaringBitmap扩展,优化超高基下精确去重、标签筛选等场景
查看详情
2021-06-08 新功能
外表读取OSS数据,集成DLF,简化数据湖数据分析
查看详情
2021-06-15 新功能
增强流量分析场景,支持细粒度留存分析,优化人群圈选、归因等场景
查看详情
2021-07-01 新功能
优化列存默认采用AliORC压缩格式,存储压缩比提高30%~50%
查看详情
2021-08-01 新功能
采用全新外部表查询引擎,优化MaxCompute外部表的查询性能
查看详情
2021-09-01 新功能
HoloWeb支持图形化查看执行计划,全面提升查询分析效率
查看详情
2021-10-25 新地域/可用区
交互式分析Hologres共享集群(MaxCompute BI加速版)在新加坡公测发布
查看详情
2021-11-19 新地域/可用区
实时数仓Hologres在德国(法兰克福)商业化发布
查看详情
2021-11-29 新功能
发布JSONB索引功能,加速JSONB数据查询
查看详情
2022-01-06 体验优化
实时数仓Hologres升级新版管控台
查看详情
2022-01-10 体验优化
共享集群(MaxCompute BI加速版)升级至1.1版本
查看详情
2022-02-18 体验优化
共享集群(MaxCompute BI加速版)开始账单预推送
查看详情
2022-03-22 新功能
HoloWeb支持慢Query甘特图分析功能
查看详情
2022-03-27 新功能
Hologres管理控制台升级,网络配置支持绑定指定VPC
查看详情
2022-05-05 新功能
Hologres只读从实例自助配置发布
查看详情
2022-05-05 体验优化
查询与监控交互式体验馆上线
查看详情
2022-05-26 体验优化
发布性能调优指南
查看详情
2022-05-26 体验优化
构建产品生命周期管理体系
查看详情
2022-06-26 新地域/可用区
共享集群(MaxCompute BI加速版)开通新加坡地区
查看详情
查看全部日志

文档与工具

刊物与资料

汇集 Hologres电子书、公开课与案例集锦
http://www.vxiaotou.com