MySQL检查和清理不可见字符的实现步骤
故事背景
今天四大运营商其中一个交给我们一个 Excel 表格,我们没有做任何数据清理就导入 MySQL 了,导致 a 字段出现了大量不可见字符。
检查
检查时,我们要知道不可见字符都有哪些。通常是空格、制表符、换行符、BOM头。这里我们主要清理BOM头,也就是 UTF-8 BOM 头:
SELECT a AS 原始数据, -- 核心处理逻辑:先删BOM头→清空白 TRIM(REPLACE(a, CHAR(0xEF, 0xBB, 0xBF), '')) AS 清理后, LENGTH(a) AS 原始字节长度, CHAR_LENGTH(a) AS 原始字符长度, -- 验证清理后的长度 LENGTH(TRIM(REPLACE(a, CHAR(0xEF, 0xBB, 0xBF), ''))) AS 清理后字节长度, CHAR_LENGTH(TRIM(REPLACE(a, CHAR(0xEF, 0xBB, 0xBF), ''))) AS 清理后字符长度 FROM yys_data WHERE LENGTH(a) != CHAR_LENGTH(a);
清理
所以,对应清理时,也就非常简单:
UPDATE yys_data SET a = TRIM(REPLACE(a, CHAR(0xEF, 0xBB, 0xBF), '')) WHERE LENGTH(a) != CHAR_LENGTH(a);
到此这篇关于MySQL检查和清理不可见字符的实现步骤的文章就介绍到这了,更多相关MySQL检查和清理不可见字符内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!
相关文章
win10家庭版64位下mysql 8.0.15 安装配置方法图文教程
这篇文章主要为大家详细介绍了win10家庭版64位下mysql 8.0.15 安装配置方法图文教程,具有一定的参考价值,感兴趣的小伙伴们可以参考一下2019-03-03
Linux下安装MySQL过程(安装数据库、修改密码和端口、修改存储路径、开启远程访问)
这篇文章详细介绍了如何在服务器上安装和配置MySQL 8.0.28,包括下载、解压、安装、启动、登录、修改密码、端口、数据存储路径以及开启远程访问等步骤2024-11-11
mysql 5.7.21 解压版通过历史data目录恢复数据的教程图解
本文通过图文并茂的形式给大家介绍了mysql 5.7.21 解压版,通过历史data目录恢复数据的方法,非常不错,具有一定的参考借鉴价值,需要的朋友可以参考下2018-09-09
使用navicat 8实现创建数据库和导入数据 管理用户与权限[图文方法]
使用navicat8实现创建数据库和导入数据的方法,需要的朋友可以参考下。2011-04-04


最新评论