使用MySQL从JSON字符串提取数据的方法详解

更新时间：2024年10月22日 11:39:50 作者：微笑听雨。

在现代数据库管理中,JSON 格式因其灵活性而广泛使用,然而,当数据存储在 JSON 中时,我们经常需要将其转换为更易于处理的格式,本篇文章将通过一个具体的 SQL 查询示例,展示如何从存储在 MySQL 中的 JSON 字符串提取数据并重新格式化,需要的朋友可以参考下

1. 背景知识

JSON（JavaScript Object Notation）是一种轻量级的数据交换格式，易于阅读和编写，同时也易于机器解析和生成。MySQL 从版本 5.7 开始支持 JSON 数据类型，使得在数据库中存储和操作 JSON 数据成为可能。

在许多应用中，JSON 字符串可能存储在表的某个字段中，我们需要提取和转换这些数据以便进行进一步分析或展示。

2. 示例数据

假设我们在 wf_lcdy 表中有一个字段 lct，其中存储了如下 JSON 字符串：

{"15775d64e52c4ba3a8eef4bafc5f40e5":"875 162","75b67fab657748a9ab4bba141bfa0d36":"375 98","428299fd90814b3eaf129e8246f82b2a":"155 126"}

我们希望将其转换为以下格式的数组：

[{"id":"15775d64e52c4ba3a8eef4bafc5f40e5","x":875,"y":162},{"id":"75b67fab657748a9ab4bba141bfa0d36","x":375,"y":98},{"id":"428299fd90814b3eaf129e8246f82b2a","x":155,"y":126}]

3. SQL 查询分析

以下是实现这一转换的 SQL 查询：

SELECT
    CONCAT('[', GROUP_CONCAT(
            CONCAT(
                    '{"id":"',
                    SUBSTRING_INDEX(SUBSTRING_INDEX(kv, ':', 1), '"', -1),
                    '", "x":',
                    CAST(SUBSTRING_INDEX(SUBSTRING_INDEX(kv, ':', -1), ' ', 1) AS UNSIGNED),
                    ', "y":',
                    CAST(SUBSTRING_INDEX(SUBSTRING_INDEX(kv, ':', -1), ' ', -1) AS UNSIGNED),
                    '}'
            )
                ), ']') AS result
FROM (
         SELECT
             TRIM(BOTH '"' FROM kv) AS kv
         FROM (
                  SELECT
                      SUBSTRING_INDEX(SUBSTRING_INDEX(REPLACE(REPLACE(REPLACE(lct, '{', ''), '}', ''), '"', ''), ',', numbers.n), ',', -1) AS kv
                  FROM wf_lcdy
                           JOIN (
                      SELECT 1 AS n UNION ALL SELECT 2 UNION ALL SELECT 3 UNION ALL SELECT 4 UNION ALL
                      SELECT 5 UNION ALL SELECT 6 UNION ALL SELECT 7 UNION ALL SELECT 8 UNION ALL
                      SELECT 9 UNION ALL SELECT 10
                  ) numbers
                  WHERE CHAR_LENGTH(lct) - CHAR_LENGTH(REPLACE(lct, ',', '')) >= numbers.n - 1 AND ID = '0c86346993d64d98ad17892974bf8963'
              ) AS temp
     ) AS kv_pairs;

3.1 查询结构解析

内层查询：
- 去除多余字符：首先，使用 REPLACE 函数将 lct 字段中的 {、} 和 " 去掉。这样可以简化后续处理。
- 分割字符串：使用 SUBSTRING_INDEX 将每个键值对分割开。我们通过一个数字表（1到10）来实现。数字表的作用是帮助我们迭代处理每个键值对，因为我们无法预先知道 JSON 中键值对的数量。

SELECT
    SUBSTRING_INDEX(SUBSTRING_INDEX(REPLACE(REPLACE(REPLACE(lct, '{', ''), '}', ''), '"', ''), ',', numbers.n), ',', -1) AS kv

这段代码将 JSON 字符串拆分为多个键值对，kv 列中将包含这样的值，例如：
- 15775d64e52c4ba3a8eef4bafc5f40e5:875 162
- 75b67fab657748a9ab4bba141bfa0d36:375 98
- 428299fd90814b3eaf129e8246f82b2a:155 126
中层查询：
- 在此查询中，我们会对 kv 列进行进一步处理。使用 TRIM(BOTH '"' FROM kv) 去掉多余的引号，以确保后续操作不会受到影响。

SELECT
    TRIM(BOTH '"' FROM kv) AS kv

外层查询：
- 聚合和格式化：在外层查询中，我们使用 GROUP_CONCAT 聚合所有的 kv 对，并使用 CONCAT 生成目标格式的 JSON 字符串。
- 提取数据：使用 SUBSTRING_INDEX 提取 id、x 和 y 的值，并将它们转换为相应的格式。这里的关键在于分割字符串并提取数字。

GROUP_CONCAT(
    CONCAT(
        '{"id":"',
        SUBSTRING_INDEX(SUBSTRING_INDEX(kv, ':', 1), '"', -1),
        '", "x":',
        CAST(SUBSTRING_INDEX(SUBSTRING_INDEX(kv, ':', -1), ' ', 1) AS UNSIGNED),
        ', "y":',
        CAST(SUBSTRING_INDEX(SUBSTRING_INDEX(kv, ':', -1), ' ', -1) AS UNSIGNED),
        '}'
    )
)

- 最终结果：最终的结果将是一个字符串，格式为 JSON 数组。

4. 查询结果

运行上述查询后，您将得到所需的结果格式：

[{"id":"15775d64e52c4ba3a8eef4bafc5f40e5","x":875,"y":162},{"id":"75b67fab657748a9ab4bba141bfa0d36","x":375,"y":98},{"id":"428299fd90814b3eaf129e8246f82b2a","x":155,"y":126}]

5. 性能考虑

字符长度计算：CHAR_LENGTH(lct) - CHAR_LENGTH(REPLACE(lct, ',', '')) 的计算用于确保我们只处理存在的键值对。此方法对性能有一定影响，特别是对于大文本。
数字表的使用：由于 JSON 的结构可能变化，数字表的使用可以扩展以支持更多的键值对。在实际应用中，您可以根据需要增加数字的范围。

6. 总结

通过上述 SQL 查询，我们成功地从一个包含 JSON 字符串的字段中提取了数据并转换成了另一种结构化格式。这种方法展示了 MySQL 在处理 JSON 数据方面的灵活性和强大能力。

在实际应用中，您可以根据具体的需求对查询进行适当的修改，以适应不同结构的 JSON 数据。此外，了解 SQL 中字符串处理和聚合函数的使用，对于提升数据处理的能力和效率至关重要。希望本篇文章对您在处理 JSON 数据时有所帮助！

以上就是使用MySQL从JSON字符串提取数据的方法详解的详细内容，更多关于MySQL JSON提取数据的资料请关注脚本之家其它相关文章！

您可能感兴趣的文章:

mysql增量备份及恢复的操作方法
增量备份是在全备或上次增量备份基础上,只备份新增或修改的文件,减少数据量和时间,binlog记录数据库变更,重启时创建新日志文件,增量备份复杂但减轻服务器负担,而binlog帮助精确恢复数据
2023-09-09
MySQL用户账户管理和权限管理深入讲解
这篇文章主要给大家介绍了关于MySQL用户账户管理和权限管理的相关资料，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2018-12-12
MySQL5.6升级5.7时出现主从延迟问题排查过程
这篇文章主要介绍了MySQL5.6升级5.7时出现主从延迟问题排查过程，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2020-09-09
深入理解MySQL中的行级锁
行级锁加锁规则比较复杂,不同的场景,加锁的形式是不同的,本文主要介绍了深入理解MySQL中的行级锁,具有一定的参考价值,感兴趣的可以了解一下
2024-01-01
MySQL数据库索引的最左匹配原则
sql查询用到索引的条件是必须要遵守最左前缀原则，本文就详细的介绍了MySQL数据库索引的最左匹配原则，感兴趣的可以了解一下
2021-11-11
浅谈MySQL大表优化方案
这篇文章主要介绍了浅谈MySQL大表优化方案，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2020-11-11
关于Mysql中文乱码问题该如何解决(乱码问题完美解决方案)
这篇文章给大家介绍关于Mysql中文乱码问题该如何解决(乱码问题完美解决方案)的相关资料，还给大家收集些关于MySQL会出现中文乱码原因常见的几点，小伙伴快来看看吧
2015-11-11
解析MSSQL跨数据库查询的实现方法
本篇文章是对MSSQL跨数据库查询的方法进行了详细的分析介绍，需要的朋友参考下
2013-06-06
MySQL字符串函数详解(推荐)
下面小编就为大家带来一篇MySQL字符串函数详解(推荐)。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧
2016-06-06
MySQL数据库备份与恢复全攻略
在现代应用中,数据库是核心组件之一,无论是个人项目还是企业级应用,数据的安全性和完整性都至关重要,为了防止数据丢失、损坏或意外删除,定期备份数据库是必不可少的,本文将详细介绍 MySQL 数据库的备份与恢复方法,需要的朋友可以参考下
2024-10-10