Python机器学习NLP自然语言处理基本操作关键词

jieba.analyse.extract_tags(sentence, topK=20, withWeight=False, allowPOS=())

import jieba.analyse
# 定义文本
text = "自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。" \
       "它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。" \
       "自然语言处理是一门融语言学、计算机科学、数学于一体的科学。" \
       "因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，" \
       "所以它与语言学的研究有着密切的联系，但又有重要的区别。" \
       "自然语言处理并不是一般地研究自然语言，" \
       "而在于研制能有效地实现自然语言通信的计算机系统，特别是其中的软件系统。" \
       "因而它是计算机科学的一部分"
# 提取关键词
keywords = jieba.analyse.extract_tags(text, topK=20, withWeight=False)
# 调试输出
print([i for i in keywords])

Building prefix dict from the default dictionary ...
Loading model from cache C:\Users\Windows\AppData\Local\Temp\jieba.cache
Loading model cost 0.890 seconds.
Prefix dict has been built successfully.
['自然语言', '计算机科学', '语言学', '研究', '领域', '处理', '通信', '有效', '软件系统', '人工智能', '实现', '计算机系统', '重要', '一体', '一门', '日常', '计算机', '密切', '数学', '研制']

import jieba.analyse
# 定义文本
content = "自然语言处理是人工智能和语言学领域的分支学科。此领域探讨如何处理及运用自然语言；自然语言处理包括多方面和步骤，基本有认知、理解、生成等部分。"
# 定义文本
text = "自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。" \
       "它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。" \
       "自然语言处理是一门融语言学、计算机科学、数学于一体的科学。" \
       "因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，" \
       "所以它与语言学的研究有着密切的联系，但又有重要的区别。" \
       "自然语言处理并不是一般地研究自然语言，" \
       "而在于研制能有效地实现自然语言通信的计算机系统，特别是其中的软件系统。" \
       "因而它是计算机科学的一部分"
# 提取关键词 (带权重)
keywords = jieba.analyse.extract_tags(text, topK=20, withWeight=True)
# 调试输出
print([i for i in keywords])

Building prefix dict from the default dictionary ...
Loading model from cache C:\Users\Windows\AppData\Local\Temp\jieba.cache
Loading model cost 1.110 seconds.
Prefix dict has been built successfully.
[('自然语言', 1.1237629576061539), ('计算机科学', 0.4503481350267692), ('语言学', 0.27566262244215384), ('研究', 0.2660770221507693), ('领域', 0.24979825580353845), ('处理', 0.24973179957046154), ('通信', 0.2043557391963077), ('有效', 0.16296019853692306), ('软件系统', 0.16102600688461538), ('人工智能', 0.14550809839215384), ('实现', 0.14389939312584615), ('计算机系统', 0.1402028601413846), ('重要', 0.12347581087876922), ('一体', 0.11349408224353846), ('一门', 0.11300493477184616), ('日常', 0.10913612756276922), ('计算机', 0.1046889912443077), ('密切', 0.10181409957492307), ('数学', 0.10166677655076924), ('研制', 0.09868653898630769)]

import jieba.analyse
# 定义文本
content = "自然语言处理是人工智能和语言学领域的分支学科。此领域探讨如何处理及运用自然语言；自然语言处理包括多方面和步骤，基本有认知、理解、生成等部分。"
# 定义文本
text = "自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。" \
       "它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。" \
       "自然语言处理是一门融语言学、计算机科学、数学于一体的科学。" \
       "因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，" \
       "所以它与语言学的研究有着密切的联系，但又有重要的区别。" \
       "自然语言处理并不是一般地研究自然语言，" \
       "而在于研制能有效地实现自然语言通信的计算机系统，特别是其中的软件系统。" \
       "因而它是计算机科学的一部分"
# TextRank提取关键词
keywords = jieba.analyse.textrank(text, topK=20, withWeight=False)
# 调试输出
print([i for i in keywords])

Building prefix dict from the default dictionary ...
Loading model from cache C:\Users\Windows\AppData\Local\Temp\jieba.cache
['研究', '领域', '计算机科学', '实现', '处理', '语言学', '数学', '人们', '计算机', '涉及', '有着', '一体', '方法', '语言', '研制', '使用', '人工智能', '在于', '联系', '科学']
Loading model cost 1.062 seconds.
Prefix dict has been built successfully.