数据清洗之如何用一行Python代码去掉文本中的各种符号
前言
在搜集了很多文本语料之后，会开始漫长的数据清洗过程，通常要不断迭代。
1. 问题描述
有些文本数据中，会包含一些特殊符号。
猜想可能是从某些富文本编辑器中直接粘贴到了网页。
如果要清除这些特殊符号，就需要专门的工具。
2. 相关知识
Unicode标准把符号分为四大类，分别是：
| 缩写 | 详情 |
|---|---|
| [Sc] | Symbol, Currency |
| [Sk] | Symbol, Modifier |
| [Sm] | Symbol, Math |
| [So] | Symbol, Other |
一般需要清理掉的符号会是So类型的，但还是要根据自己的数据情况具体分析。
3. 解决方案
在数据清洗过程中遇到的符号可能包括：杂项符号、几何形状、箭头、心形、星形、表情Emoji、货币符号等。
如果以上这些符号都要删除，可以用下面的代码。
text = "".join(ch for ch in text if unicodedata.category(ch)[0]!= 'S')
如果需要单独去除某一类，或者希望知道某个符号所属的具体类别，就需要到这个网站:
https://www.unicode.org/charts/charindex.html
查找对应的符号类型。
以箭头符号为例。
先用Arrow搜索上面的网页，找到纯粹的箭头项Arrows，对应的文档是：https://www.unicode.org/charts/PDF/U2190.pdf
找到自己需要的箭头，并查看对应的名字。
举例：箭头
RIGHTWARDS ARROW，然后用python提供的unicodedata标准库，查找这个符号的类别。
unicodedata.lookup('RIGHTWARDS ARROW')
'→'
unicodedata.category('→')
'Sm'
这样，就知道要查找的箭头符号，属于Sm类别（数学符号）。
举例：黑色方块
BLACK SQUARE ■ U+25A0
unicodedata.lookup('BLACK SQUARE')
'■'
unicodedata.category('■')
'So'
举例：黑色心形
unicodedata.lookup('BLACK HEART SUIT')
'♥'
unicodedata.category('♥')
'So'
举例：黑色星形
unicodedata.lookup('BLACK FOUR POINTED STAR')
'✦'
unicodedata.category('✦')
'So'
如果只需要去除杂项符号，可以用下面的python代码。
text = "".join(ch for ch in text if unicodedata.category(ch) != 'So')
另一个有用的网址：
https://www.fileformat.info/info/unicode/category/index.htm
总结
到此这篇关于数据清洗之如何用一行Python代码去掉文本中的各种符号的文章就介绍到这了,更多相关Python去掉文本各种符号内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
相关文章
今天小编就为大家分享一篇python将处理好的图像保存到指定目录下的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-01-01
这篇文章主要介绍了python实现跨excel sheet复制代码实例,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-03-03
PyQt5 是用来创建Python GUI应用程序的工具包。作为一个跨平台的工具包，PyQt可以在所有主流操作系统上运行，本文主要介绍了如何用PyQt5制作漫画脸的GUI界面2021-10-10
这篇文章主要为大家详细介绍了150行python代码实现贪吃蛇游戏，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2020-04-04
这篇文章主要介绍了Pytorch之扩充tensor的操作，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2021-03-03
tensorboard 可视化之localhost:6006不显示的解决方案
这篇文章主要介绍了tensorboard 可视化之localhost:6006不显示的解决方案，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2021-05-05
当我们在Python中开始新的东西时,我通常首先看一些模块或库来使用,下面这篇文章主要给大家介绍了关于Python技法之如何用re模块实现简易tokenizer的相关资料,需要的朋友可以参考下2022-05-05
map是python内置函数，会根据提供的函数对指定的序列做映射，这篇文章主要介绍了python中的map函数语法详解,本文通过示例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2022-03-03
tensorflow saver 保存和恢复指定 tensor的实例讲解
今天小编就为大家分享一篇tensorflow saver 保存和恢复指定 tensor的实例讲解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-07-07
这篇文章主要介绍了Python numpy视图与副本，继上一篇对numpy 模块之ndarray一文中对 ndarray 内存结构主要分为两部分metdata 、raw bata，下面来一起学习文章具体内容吧，需要的小伙伴也可以参考一下2022-01-01
最新评论