SQL语句中JOIN的用法场景分析
记录：256
写SQL最高境界：SELECT * FROM 表名。当然这是一句自嘲。探究一下SQL语句中JOIN的用法，直到经历这个场景，变得想验证一下究竟。
一、场景
把关系型数据库A中表TEST_TB01和TEST_TB02迁移到大数据平台M（MaxCompute大数据平台）。TEST_TB01单表1000万条记录，TEST_TB02单表80万条记录。
在关系型数据库中，TEST_TB01和TEST_TB02中有主键约束。在产生新增业务数据时，不会存在重复数据插入。但是，当数据迁移到大数据平台后，由于在大数据平台中无主键约束功能。在产生新增业务数据时，TEST_TB01和TEST_TB02均均插入了重复数据。
在一个计算任务中，TEST_TB01和TEST_TB02根据某个字段JOIN连接，计算出了一份结果数据，数据推送到使用方的关系型数据库C。直接导致了C数据库的对应表的表空间撑爆，监控预警。
原因：TEST_TB01和TEST_TB02有重复数据，使用JOIN连接后，生成了10亿+条数据，共计200G+数据，直接推送到C数据库。
那次考虑不周，瞬间懵了，感觉SQL语句中的JOIN变得陌生极了。于是想探究一下以作记录。
二、建表
TEST_TB01建表语句：
create table TEST_TB01 ( sensor_id BIGINT, part_id BIGINT ) COMMENT '数据表一';
TEST_TB02建表语句：
create table TEST_TB02 ( part_id BIGINT, elem_id BIGINT ) COMMENT '数据表二';
三、SQL语句中使用JOIN无重复数据情况
在SQL语句中使用JOIN无重复数据情况，即在TEST_TB01和TEST_TB02表中均无重复数据情况。分别使用JOIN、INNER JOIN、LEFT JOIN、LEFT OUTER JOIN、RIGHT JOIN、FULL JOIN验证。
在TEST_TB01插入数据：
insert into TEST_TB01 (sensor_id,part_id) values(2101,9911); insert into TEST_TB01 (sensor_id,part_id) values(2102,9912); insert into TEST_TB01 (sensor_id,part_id) values(2103,9913); insert into TEST_TB01 (sensor_id,part_id) values(2104,9914); insert into TEST_TB01 (sensor_id,part_id) values(2105,9915);
在TEST_TB02插入数据：
insert into TEST_TB02 (part_id,elem_id) values(9911,8901); insert into TEST_TB02 (part_id,elem_id) values(9912,8902); insert into TEST_TB02 (part_id,elem_id) values(9913,8903); insert into TEST_TB02 (part_id,elem_id) values(9916,8906);
查看TEST_TB01数据：
查看TEST_TB02数据：
1.在SQL中使用JOIN
TEST_TB01和TEST_TB02根据part_id使用JOIN连接，只返回两个表（TEST_TB01和TEST_TB02）中连接字段相等的记录。
SQL语句：
SELECT
*
FROM
TEST_TB01 aa
JOIN TEST_TB02 bb
ON aa.part_id = bb.part_id
ORDER BY aa.sensor_id ASC;
执行结果：
2.在SQL中使用INNER JOIN
TEST_TB01和TEST_TB02根据part_id使用INNER JOIN连接，只返回两个表（TEST_TB01和TEST_TB02）中连接字段相等的记录。INNER JOIN和JOIN效果等价。
SQL语句：
SELECT
*
FROM
TEST_TB01 aa
INNER JOIN TEST_TB02 bb
ON aa.part_id = bb.part_id
ORDER BY aa.sensor_id ASC;
执行结果：
3.在SQL中使用LEFT JOIN
TEST_TB01和TEST_TB02根据part_id使用LEFT JOIN连接，左连接，返回左表(TEST_TB01)中所有的记录以及右表(TEST_TB02)中连接字段相等的记录。
SQL语句：
SELECT
*
FROM
TEST_TB01 aa
LEFT JOIN TEST_TB02 bb
ON aa.part_id = bb.part_id
ORDER BY aa.sensor_id ASC;
执行结果：
4.在SQL中使用LEFT OUTER JOIN
TEST_TB01和TEST_TB02根据part_id使用LEFT OUTER JOIN连接，左外连接，返回左表(TEST_TB01)中所有的记录以及右表(TEST_TB02)中连接字段相等的记录。LEFT OUTER JOIN
和LEFT JOIN等价。
SQL语句：
SELECT
*
FROM
TEST_TB01 aa
LEFT OUTER JOIN TEST_TB02 bb
ON aa.part_id = bb.part_id
ORDER BY aa.sensor_id ASC;
执行结果：
5.在SQL中使用RIGHT JOIN
TEST_TB01和TEST_TB02根据part_id使用RIGHT JOIN连接，右连接，返回右表(TEST_TB02)中所有的记录以及左表(TEST_TB01)中连接字段相等的记录
SQL语句：
SELECT
*
FROM
TEST_TB01 aa
RIGHT JOIN TEST_TB02 bb
ON aa.part_id = bb.part_id
ORDER BY aa.sensor_id ASC;
执行结果：
6.在SQL中使用FULL JOIN
TEST_TB01和TEST_TB02根据part_id使用FULL JOIN连接，外连接，返回两个表中的行：LEFT JOIN + RIGHT JOIN所有行记录。
SQL语句：
SELECT
*
FROM
TEST_TB01 aa
FULL JOIN TEST_TB02 bb
ON aa.part_id = bb.part_id
ORDER BY aa.sensor_id ASC;
执行结果：
四、SQL语句中使用JOIN有重复数据情况
在SQL语句中使用JOIN有重复数据情况，即在TEST_TB01和TEST_TB02表中均有重复数据情况。分别使用JOIN、INNER JOIN、LEFT JOIN、LEFT OUTER JOIN、RIGHT JOIN、FULL JOIN验证。
在TEST_TB01插入数据：
insert into TEST_TB01 (sensor_id,part_id) values(2101,9911); insert into TEST_TB01 (sensor_id,part_id) values(2102,9912); insert into TEST_TB01 (sensor_id,part_id) values(2103,9913); insert into TEST_TB01 (sensor_id,part_id) values(2104,9914); insert into TEST_TB01 (sensor_id,part_id) values(2105,9915); --造重复数据 insert into TEST_TB01 (sensor_id,part_id) values(2102,9912); insert into TEST_TB01 (sensor_id,part_id) values(2103,9913);
在TEST_TB02插入数据：
insert into TEST_TB02 (part_id,elem_id) values(9911,8901); insert into TEST_TB02 (part_id,elem_id) values(9912,8902); insert into TEST_TB02 (part_id,elem_id) values(9913,8903); insert into TEST_TB02 (part_id,elem_id) values(9916,8906); --造重复数据 insert into TEST_TB02 (part_id,elem_id) values(9912,8902); insert into TEST_TB02 (part_id,elem_id) values(9913,8903);
查看TEST_TB01数据：
查看TEST_TB02数据：
1.在SQL中使用JOIN
TEST_TB01和TEST_TB02根据part_id使用JOIN连接，只返回两个表（TEST_TB01和TEST_TB02）中连接字段相等的记录。
SQL语句：
SELECT
*
FROM
TEST_TB01 aa
JOIN TEST_TB02 bb
ON aa.part_id = bb.part_id
ORDER BY aa.sensor_id ASC;
执行结果：
2.在SQL中使用INNER JOIN
TEST_TB01和TEST_TB02根据part_id使用INNER JOIN连接，只返回两个表（TEST_TB01和TEST_TB02）中连接字段相等的记录。INNER JOIN和JOIN效果等价。
SQL语句：
SELECT
*
FROM
TEST_TB01 aa
INNER JOIN TEST_TB02 bb
ON aa.part_id = bb.part_id
ORDER BY aa.sensor_id ASC;
执行结果：
3.在SQL中使用LEFT JOIN
TEST_TB01和TEST_TB02根据part_id使用LEFT JOIN连接，左连接，返回左表(TEST_TB01)中所有的记录以及右表(TEST_TB02)中连接字段相等的记录。
SQL语句：
SELECT
*
FROM
TEST_TB01 aa
LEFT JOIN TEST_TB02 bb
ON aa.part_id = bb.part_id
ORDER BY aa.sensor_id ASC;
执行结果：
4.在SQL中使用LEFT OUTER JOIN
TEST_TB01和TEST_TB02根据part_id使用LEFT OUTER JOIN连接，左外连接，返回左表(TEST_TB01)中所有的记录以及右表(TEST_TB02)中连接字段相等的记录。LEFT OUTER JOIN
和LEFT JOIN等价。
SQL语句：
SELECT
*
FROM
TEST_TB01 aa
LEFT OUTER JOIN TEST_TB02 bb
ON aa.part_id = bb.part_id
ORDER BY aa.sensor_id ASC;
执行结果：
5.在SQL中使用RIGHT JOIN
TEST_TB01和TEST_TB02根据part_id使用RIGHT JOIN连接，右连接，返回右表(TEST_TB02)中所有的记录以及左表(TEST_TB01)中连接字段相等的记录
SQL语句：
SELECT
*
FROM
TEST_TB01 aa
RIGHT JOIN TEST_TB02 bb
ON aa.part_id = bb.part_id
ORDER BY aa.sensor_id ASC;
执行结果：
6.在SQL中使用FULL JOIN
TEST_TB01和TEST_TB02根据part_id使用FULL JOIN连接，外连接，返回两个表中的行：LEFT JOIN + RIGHT JOIN所有行记录。
SQL语句：
SELECT
*
FROM
TEST_TB01 aa
FULL JOIN TEST_TB02 bb
ON aa.part_id = bb.part_id
ORDER BY aa.sensor_id ASC;
执行结果：
五、SQL中使用JOIN有重复与无重复数据区别
在SQL语句中使用JOIN有重复数据情况，使用JOIN连接，符合连接字段相等的记录的结果集是笛卡尔积，第一个表的行数乘以第二个表的行数。
六、解决方式
1.先去重再使用JOIN连接
根据业务规则先对TEST_TB01和TEST_TB02分别去重再使用JOIN连接。
2.先使用JOIN连接再去重
根据业务规则先对TEST_TB01和TEST_TB02使用JOIN连接生成结果集，再对结果集去重。
3.建议
在生产环境特别是数据量大场景，推荐使用第一种方式，先逐个表去重再使用JOIN连接。
七、关系型数据库验证表结构
本例是在DataWorks环境（即MaxCompute大数据平台）下验证，即在关系型数据库验证除表结构差异，其它均相同。
在ORACLE数据库建表语句：
create table TEST_TB01 ( sensor_id NUMBER(16), part_id NUMBER(16) ); create table TEST_TB02 ( part_id NUMBER(16), elem_id NUMBER(16) );
在MySQL数据库建表语句：
CREATE TABLE TEST_TB01 ( sensor_id BIGINT, part_id BIGINT ); CREATE TABLE TEST_TB02 ( part_id BIGINT, elem_id BIGINT );
以上，感谢。
到此这篇关于SQL语句中JOIN的用法的文章就介绍到这了,更多相关SQL JOIN的用法内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
相关文章
这篇文章主要介绍了SQL Server中检查字段的值是否为数字的方法,使用ISNUMERIC函数实现,需要的朋友可以参考下2014-06-06
本文主要介绍了VS自带的SQL server修改密码并连接使用，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2023-04-04
这篇文章介绍了SQL Server中数学函数的用法，文中通过示例代码介绍的非常详细。对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2022-05-05
在SQL Server的内部存储中，日期和时间不是以字符串的形式存储的，而是使用整数来存储的。这篇文章主要介绍了SQL Server 日期和时间的内部存储,需要的朋友可以参考下2019-12-12
去除字符串中的相同的字符，此功能在开发过程中很实用，为此本文整理了一些，希望对你了解它有所帮助2013-01-01
这篇文章主要给大家分享了Sql Server中判断表、列是否存在，如果不存在则创建的方法，文章先给大家简单介绍了Sql Server中判断表中某列是否存在的方法，文中给出了详细的示例代码，需要的朋友们可以参考借鉴，下面来一起看看吧。2017-03-03
解析SQL Server CDC配合Kafka Connect监听数据变化的问题
这篇文章主要介绍了SQL Server CDC配合Kafka Connect监听数据变化,除了数据库开启CDC支持以外，主要还是要将变更的数据通过Kafka Connect传输数据，Debezium是目前官方推荐的连接器，本文给大家分享实现步骤，感兴趣的朋友跟随小编一起看看吧2021-12-12
通过下面这个可以执行单个数据库日志压缩，问题每次都要写数据库名字，日志大的话执行速度没有那么快2012-01-01
本文主要介绍了SQL Server里书签查找的性能伤害，具有很好的参考价值。下面跟着小编一起来看下吧2017-03-03
本文将为大家介绍如何防止SQL注入，并通过脚本来过滤SQL中注入的字符。解决SQL注入安全的问题解决，希望对大家有所帮助。2016-07-07
最新评论