Python jieba库文本处理词性标注和关键词提取进行文本情感分析

pip install jieba

import jieba

# 待分词的中文文本
text = "结巴分词是一款强大的中文分词工具。"

# 使用 jieba.cut 进行基本分词，返回一个生成器
seg_result_generator = jieba.cut(text)

# 将生成器转换为列表，并打印分词结果
seg_result_list = list(seg_result_generator)
print("分词结果：", seg_result_list)

import jieba

# 待分词的中文文本
text = "结巴分词是一款强大的中文分词工具。"

# 使用 jieba.cut 进行基本分词，返回一个生成器
seg_result_generator = jieba.cut(text)

# 将生成器转换为列表，并打印分词结果
seg_result_list = list(seg_result_generator)
print("jieba.cut 分词结果：", seg_result_list)

import jieba

# 待分词的中文文本
query = "自然语言处理"

# 使用 jieba.cut_for_search 进行搜索引擎分词
seg_result_generator = jieba.cut_for_search(query)

# 将生成器转换为列表，并打印分词结果
seg_result_list = list(seg_result_generator)
print("jieba.cut_for_search 分词结果：", seg_result_list)

import jieba

# 待分词的中文文本
text = "结巴分词是一款强大的中文分词工具。"

# 使用 jieba.lcut 进行基本分词，并打印结果
seg_result_list = jieba.lcut(text)
print("jieba.lcut 分词结果：", seg_result_list)

import jieba.posseg as pseg

# 待标注词性的中文文本
text = "结巴分词是一款强大的中文分词工具。"

# 使用 jieba.posseg 进行词性标注
words = pseg.cut(text)

# 打印词性标注结果
for word, pos in words:
    print(f"{word} : {pos}")

import jieba.analyse

# 待提取关键词的中文文本
text = "结巴分词是一款强大的中文分词工具。"

# 使用 jieba.analyse 提取关键词
keywords = jieba.analyse.extract_tags(text, topK=5)

# 打印提取的关键词
print("提取的关键词：", keywords)

import jieba
# 待分词的中文文本
text = "结巴分词是一款强大的中文分词工具。"
# 添加自定义词典
jieba.add_word("结巴分词")
# 使用 jieba.cut 进行分词
seg_result = jieba.cut(text)
# 将生成器转换为列表，并打印分词结果
seg_result_list = list(seg_result)
print("添加自定义词典后的分词结果：", seg_result_list)

import jieba

# 待分词的医学文本
medical_text = "新药研发取得重大突破，对治疗某种疾病具有显著效果。"

# 添加医学领域的自定义词汇
jieba.add_word("新药研发")
jieba.add_word("治疗某种疾病")

# 使用 jieba.cut 进行分词
seg_result = jieba.cut(medical_text)

# 将生成器转换为列表，并打印分词结果
seg_result_list = list(seg_result)
print("添加医学领域自定义词典后的分词结果：", seg_result_list)

import jieba
# 待分词的中文文本
text = "结巴分词是一款强大的中文分词工具，可以广泛应用于自然语言处理和文本挖掘领域。"
# 示例停用词表
stop_words = ["是", "一款", "可以", "和", "领域"]
# 加载停用词表
jieba.analyse.set_stop_words(stop_words)
# 使用 jieba.cut 进行分词
seg_result = jieba.cut(text)
# 过滤停用词后，将生成器转换为列表，并打印分词结果
filtered_seg_result_list = [word for word in seg_result if word not in stop_words]
print("过滤停用词后的分词结果：", filtered_seg_result_list)

import jieba
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.naive_bayes import MultinomialNB
# 构建情感分析数据集
positive_texts = ["这个产品太棒了，我非常喜欢！",
                  "服务很好，态度也很热情。",
                  "真的是太赞了！"]
negative_texts = ["这个产品质量很差，不值得购买。",
                  "服务太差劲了，态度很恶劣。",
                  "真的很失望。"]
# 分词处理
positive_seg = [" ".join(jieba.cut(text)) for text in positive_texts]
negative_seg = [" ".join(jieba.cut(text)) for text in negative_texts]
# 构建特征表示
vectorizer = CountVectorizer()
X = vectorizer.fit_transform(positive_seg + negative_seg)
# 构建标签
y = [1] * len(positive_texts) + [0] * len(negative_texts)
# 构建朴素贝叶斯分类器
clf = MultinomialNB()
clf.fit(X, y)
# 测试情感分析
test_text = "这个产品真的太差了，完全不值得购买。"
test_seg = " ".join(jieba.cut(test_text))
test_X = vectorizer.transform([test_seg])
result = clf.predict(test_X)
# 打印结果
if result[0] == 1:
    print("情感分析结果：正面")
else:
    print("情感分析结果：负面")

import jieba
from wordcloud import WordCloud
import matplotlib.pyplot as plt

# 待处理的中文文本
text = "结巴分词是一款强大的中文分词工具，可以广泛应用于自然语言处理和文本挖掘领域。"

# 使用jieba进行分词
seg_result = jieba.cut(text)
seg_result_str = " ".join(seg_result)

# 生成词云
wordcloud = WordCloud(font_path="simsun.ttf", background_color="white").generate(seg_result_str)

# 显示词云图
plt.figure(figsize=(8, 8), facecolor=None)
plt.imshow(wordcloud, interpolation="bilinear")
plt.axis("off")
plt.show()

import jieba
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.naive_bayes import MultinomialNB
# 构建情感分析数据集
positive_texts = ["这个产品太棒了，我非常喜欢！",
                  "服务很好，态度也很热情。",
                  "真的是太赞了！"]
negative_texts = ["这个产品质量很差，不值得购买。",
                  "服务太差劲了，态度很恶劣。",
                  "真的很失望。"]
# 分词处理
positive_seg = [" ".join(jieba.cut(text)) for text in positive_texts]
negative_seg = [" ".join(jieba.cut(text)) for text in negative_texts]
# 构建特征表示
vectorizer = CountVectorizer()
X = vectorizer.fit_transform(positive_seg + negative_seg)
# 构建标签
y = [1] * len(positive_texts) + [0] * len(negative_texts)
# 构建朴素贝叶斯分类器
clf = MultinomialNB()
clf.fit(X, y)
# 测试情感分析
test_text = "这个产品真的太差了，完全不值得购买。"
test_seg = " ".join(jieba.cut(test_text))
test_X = vectorizer.transform([test_seg])
result = clf.predict(test_X)
# 打印结果
if result[0] == 1:
    print("情感分析结果：正面")
else:
    print("情感分析结果：负面")

import jieba.analyse
# 待提取关键词的新闻文本
news_text = "近日，一项关于新冠疫苗的研究成果在国际上引起广泛关注。"
# 使用jieba提取关键词
keywords = jieba.analyse.extract_tags(news_text, topK=5)
# 打印提取的关键词
print("提取的关键词：", keywords)

import jieba.analyse
# 用户评论文本
user_comment = "这个产品很好用，性价比也很高，非常满意。"
# 使用jieba提取关键词
keywords = jieba.analyse.extract_tags(user_comment, topK=3)
# 打印提取的关键词
print("用户关键词提取结果：", keywords)