大家都是成年人了,表白请直接点!

  • 时间:
  • 浏览:0
  • 来源:神彩排列三_彩神排列三官方

上周小编发布的《在吗?0代码加速查询MaxCompute请查收》,主随后提供怎么后能 使用HoloStudio快速查询MaxCompute数据的操作步骤,没想到收获了无数没有人 们爱的表白,纷纷表示,交互式分析的出显 补救了离线数据补救的一大心病,甚至有的没有人 刚刚开始英文自发写使用文章,(没有人 全是成年人了,表白请直接点!)。本文内容节选自阿里集团某业务部门的ATA文章(已获得作者个人的同意),部分内容有修改。



勾选前要加速查询的字段后,提交表就完成了。

收到小伙伴的使用反馈,小编表示今晚还后能 加个鸡腿了!当然,类似 的文章还有其他,小编随后节选部分内容,没选中的小伙伴别伤心,里面小编一定宣你!一块儿,也欢迎各位小伙伴写反馈文章给小编,到刚刚会有福利相送哦!(没有人 全是成年人了,表白请直接点)

若您在使用产品过程带有任何什么的问题,欢迎进群开怼!

本文随后节选部分操作步骤,具体生成API的操作步骤,没有人 还后能 参考往期内容:交互式分析加速查询MaxCompute封装API的最佳实践

MaxCompute作为离线大数据的存储引擎,承载了阿里集团海量数据的存储服务。但将会其架构由于,读数据的传输速度较慢,不满足业务场景的ad-hoc查询。目前常用的加速方案是使用其他数据库来将MaxCompute数据加速查询,类似 MySQL、MongoDB、HiStore、RDS、Postgre For MySQL、ElasticSearch等。不同的数据库支持的业务场景如下:

说明:能查询这种 MaxCompute表的前提是当前账号有这张表的访问权限

3.保存脚本,单击测试进行查询性能测试。

测试API还后能 使用,调用耗时25秒。



4测试完成刚刚,可将API进行发布。发布刚刚就还后能 使用API查询数据了。

登录DataWorks,在数据地图中准备一张MaxCompute表将会新建ODPS SQL写入一张表并导入数据。

经过HoloStudio查询的数据,还后能 直接对接DataWorks的数据服务,生成API。

1.进入DataWorks数据集成--数据源管理--新增数据源,选者 PostgreSQL数据源,并填写连接信息

说明:当前配置页面为集团内环境,公共云用户请参考DataWorks数据服务进行数据源配置

接下来测试一下查询性能,在左侧数据开发Tab下创建开发脚本如下:

从4000万行数据里,按照用户id聚合,取前10个大用户,共要耗时16秒。



2.完成数据源配置后,在数据服务页面创建数据服务。将会向导模式暂时不完善,这里建议选者 “脚本模式”。建议选者 脚本模式进行数据源便编写。

HoloStudio中创建内外部表,这种 步共要在交互式分析里给原始的MaxCompute表添加了一层字段映射,并通过底层资源的打通,达到秒级响应。(一次query的数据量在400GB以下还后能 建内外部表直接查询MaxCompute,超过400GB以上MaxCompute数据建议导入交互式分析再查询)。

这里以某张MaxCompute表为例,表的数据总共103GB,单分区4000万行数据左右。

HoloStudio是基于交互式分析的一站式开发平台,速度集成于DataWorks上,可使用HoloStudio进行UI一键建表快速查询MaxCompute数据,一块儿也支持以标准的SQL励志的话 进行开发,还能对接DataWorks的数据开发、数据服务等功能,实现数据从架构设计 --查询--可视化分析的一站式操作流程,节约少量里面转化时间!

关于HoloStudio介绍,还后能 参加往期:交互式分析六脉神剑》之Dataworks-HoloStudio初体验

要还后能 参考官网文档进行操作学习:基于HoloStuido的开发