MySQL MaxCompute与AnalyticDB实现数据处理与转换过程详解

 更新时间:2022年12月26日 11:36:00   作者:梦幻通灵  
AnalyticDB MySQL(简称ads)与 MaxCompute(简称odps)进行数据转换时,个别语法有差别,记录下来,方便备查,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习吧

1、行转列函数

odps 中行转列函数 wm_concat,将列信息转成行显示,可指定分隔符。

语法格式

wm_concat(separator, string) ,其中separator为分隔符,支持字符串去重,即distinct.

select wm_concat('|',sku_id)
from t_business_order_odps
where
create_time >= '2022-09-30 00:00:00';

ads 中行转列函数 group_concat,即将列信息转成行显示,默认逗号分隔。如在mysql中查询表的所有列名。

select group_concat(COLUMN_NAME)
from information_schema.COLUMNS
where
TABLE_NAME = 't_business_order';

2、判空函数

odps 中判空函数 coalesce ,如若无运费,则显示为0。

select coalesce(freight_amount,0)
from t_business_order_odps
where
create_time >= '2022-09-30 00:00:00';

odps 中判断函数 decode ,如若无运费,则显示为0。

语法格式

decode(expression, search, result[, search, result]…[, default])

表示:三元运算符,即实现IF-THEN-ELSE分支选择的功能

select decode(order_amount,freight_amount,0)
from t_business_order_odps
where
create_time >= '2022-09-30 00:00:00';

ads 中判空函数 ifnull,如若无运费,则显示为0。

select ifnull(freight_amount,0)
from t_business_order
where
create_time >= '2022-09-30 00:00:00';

3、时间函数

odps 中 时间字段类型为 datetime,获取当前时间函数为 getdate()。

select coalesce(freight_amount,0),getdate() as etl_time
from t_business_order_odps
where
create_time >= '2022-09-30 00:00:00';

ads 中时间字段类型为 timestamp,获取当前时间函数为 now()。

select ifnull(freight_amount,0),now() as etl_time
from t_business_order
where
create_time >= '2022-09-30 00:00:00';

4、建表语句

odps 中 字符串字段类型为 string,时间字段类型为 datetime。

CREATE TABLE t_business_order_odps (
	prov_name string COMMENT '省名称',
	city_name string COMMENT '地市名',
	cty_name string COMMENT '区县名称',
	order_no string COMMENT '订单号',
	order_amount bigint COMMENT '运费',
	freight bigint COMMENT '运费',
	insert_month bigint COMMENT '插入月份',
	created_time datetime COMMENT '创建时间'
)
COMMENT '业务订单主表;

ads 中字符串字段类型为 varchar,时间字段类型为 timestamp。

CREATE TABLE t_business_orde (
	prov_name varchar COMMENT '省名称',
	city_name varchar COMMENT '地市名',
	cty_name varchar COMMENT '区县名称',
	order_no varchar COMMENT '订单号',
	order_amount bigint COMMENT '运费',
	freight bigint COMMENT '运费',
	insert_month bigint COMMENT '插入月份',
	created_time timestamp COMMENT '创建时间'
)
PARTITION BY HASH KEY (order_no) PARTITION NUM 128
TABLEGROUP ads_sc_rpt
OPTIONS (UPDATETYPE='batch')
COMMENT '业务订单主表';

知识梳理

OPTIONS 类型有两种

1)batch 批量表,即数据批量入库,适用于从odps同步到ads;

2)realtime 实时表,即数据单条入库,适用于日志等信息单条入库。

到此这篇关于MySQL MaxCompute与AnalyticDB实现数据处理与转换过程详解的文章就介绍到这了,更多相关MySQL MaxCompute与AnalyticDB内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • 关于MySQL报警的一次分析处理详解

    关于MySQL报警的一次分析处理详解

    这篇文章主要给大家介绍了关于MySQL报警的一次分析处理的相关资料,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2021-03-03
  • MySQL数据库如何查看表占用空间大小

    MySQL数据库如何查看表占用空间大小

    由于数据太大了,所以MYSQL需要瘦身,那前提就是需要知道每个表占用的空间大小,这篇文章主要给大家介绍了关于MySQL数据库如何查看表占用空间大小的相关资料,需要的朋友可以参考下
    2022-06-06
  • Mysql5.7忘记root密码怎么办(简单且有效方法)

    Mysql5.7忘记root密码怎么办(简单且有效方法)

    本文给大家分享一个快速且简单的方法来解决Mysql5.7忘记root密码问题,非常不错,具有参考借鉴价值,需要的朋友参考下吧
    2017-02-02
  • MySQL约束(创建表时的各种条件说明)

    MySQL约束(创建表时的各种条件说明)

    这篇文章主要介绍了MySQL约束(创建表时的各种条件说明),具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2022-06-06
  • mysql快速获得库中无主键的表实例代码

    mysql快速获得库中无主键的表实例代码

    这篇文章主要给大家介绍了关于mysql如何快速获得库中无主键的表的相关资料,文中通过示例代码介绍的非常详细,对大家的学习或者使用mysql具有一定的参考学习价值,需要的朋友们下面来一起学习学习吧
    2019-10-10
  • MySQL数据库删除数据自增ID不连续的实现示例

    MySQL数据库删除数据自增ID不连续的实现示例

    本文介绍了MySQL数据库删除数据后自增ID不连续的问题,文中通过2种方法解决,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2024-11-11
  • MySql中modify、rename、change的使用及区别

    MySql中modify、rename、change的使用及区别

    这篇文章主要介绍了MySql中modify、rename、change的使用及区别,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2024-06-06
  • 超出MySQL最大连接数问题及解决

    超出MySQL最大连接数问题及解决

    这篇文章主要介绍了超出MySQL最大连接数问题及解决方案,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2023-05-05
  • mysql数据库备份设置延时备份方法(mysql主从配置)

    mysql数据库备份设置延时备份方法(mysql主从配置)

    这篇文章主要介绍了mysql数据库延时备份的方法,也就是mysql主从服务器备份,可以同步到多个服务器,最后我们提供了一个备份脚本,大家参考使用吧
    2013-12-12
  • MySQL中利用索引对数据进行排序的基础教程

    MySQL中利用索引对数据进行排序的基础教程

    这篇文章主要介绍了MySQL中利用索引对数据进行排序的基础教程,需要的朋友可以参考下
    2015-11-11

最新评论