Python自然语言处理之NLTK与Gensim库详解

# 安装NLTK库（最新稳定版） 
pip install nltk -i https://pypi.tuna.tsinghua.edu.cn/simple 
# 安装Gensim库（最新稳定版） 
pip install gensim -i https://pypi.tuna.tsinghua.edu.cn/simple 

# 验证NLTK安装
import nltk print("NLTK版本：", nltk.__version__) 
# 下载NLTK基础语料库（首次使用需执行，约几百MB） 
nltk.download('punkt') 
# 基础分词语料库
nltk.download('averaged_perceptron_tagger') 
# 词性标注语料库
# 验证Gensim安装 
import gensim print("Gensim版本：", gensim.__version__) 

import nltk from nltk.tokenize 
import word_tokenize, sent_tokenize
# 1. 句子分割（将文本分割为多个句子） 
text = "Natural language processing is a subfield of artificial intelligence.
It focuses on the interaction between computers and humans using natural language." 
sentences = sent_tokenize(text) print("句子分割结果：", sentences) 
# 2. 单词分词（将句子分割为单词） 
words = word_tokenize(text.lower())
# lower()：统一转为小写，避免大小写差异 
print("单词分词结果：", words) 
# 3. 去除标点符号（过滤非字母数字字符）
import string words_clean = [word for word in words if word not in string.punctuation] 
print("去除标点后的结果：", words_clean) 

# 下载停用词表（首次使用需执行）
nltk.download('stopwords') 
from nltk.corpus import stopwords
# 获取英文停用词表 
stop_words = set(stopwords.words('english')) 
# 去除停用词
words_filtered = [word for word in words_clean if word not in stop_words] 
print("去除停用词后的结果：", words_filtered) 

# 词性标注（输入为去除停用词后的单词列表） 
pos_tags = nltk.pos_tag(words_filtered) 
print("词性标注结果：", pos_tags) 
# 标注说明：NN（名词）、VB（动词）、JJ（形容词）、RB（副词）等

# 下载VADER情感分析工具（首次使用需执行） 
nltk.download('vader_lexicon') 
from nltk.sentiment
import SentimentIntensityAnalyzer 
# 初始化情感分析器 sia = SentimentIntensityAnalyzer() 
# 情感分析（返回neg负面、neu中性、pos正面、compound综合得分） 
text1 = "This product is amazing, 
it works perfectly and exceeds my expectations!" text2 = "I am very disappointed with this product, 
it is broken after only one use." score1 = sia.polarity_scores(text1) 
score2 = sia.polarity_scores(text2) 
print("文本1情感得分：", score1) print("文本2情感得分：", score2)
# 判定规则：compound > 0.05为正面，< -0.05为负面，否则为中性 

from gensim import corpora, models 
# 示例：3个预处理后的文本（分词、去停用词后的单词列表）
texts = [ ['natural', 'language', 
'processing', 'artificial', 'intelligence'], ['natural', 'language', 
'focuses', 'interaction', 'computers', 'humans'], ['artificial', 'intelligence', 
'computers', 'technology', 'future'] ] 
# 1. 构建词汇表（Dictionary）：映射每个单词到唯一的ID dictionary = corpora.Dictionary(texts) 
print("词汇表：", dictionary.token2id) # 单词→ID映射 
# 2. 构建语料库（Corpus）：将每个文本转换为词袋向量（ID: 词频） 
corpus = [dictionary.doc2bow(text) for text in texts] 
print("词袋模型语料库：", corpus) 

from gensim.models 
import Word2Vec 
# 示例：基于多个句子（预处理后的单词列表）
训练词向量 sentences = [ ['natural',
'language', 'processing', 'is', 'interesting'], ['word2vec', 'can', 'learn', 'semantic', 'similarity'], ['natural', 'language', 'is', 'a', 'subfield', 'of', 'ai'], 
['ai', 'includes', 'machine', 'learning', 'and', 'nlp'] ] 
# 训练Word2Vec模型 model = Word2Vec( sentences=sentences, 
# 输入文本（单词列表的列表） vector_size=100, 
# 词向量维度（常用100-300） window=5, # 上下文窗口大小 min_count=1, 
# 最小词频（忽略出现次数少于1的单词） workers=4 # 训练线程数 ) 
# 保存模型（后续可直接加载使用） model.save("word2vec_model.model") 
# 加载模型 model = Word2Vec.load("word2vec_model.model") 
# 核心功能1：获取单词的词向量 vector = model.wv['natural'] print("natural的词向量（前10维）：", vector[:10]) 
# 核心功能2：查找语义相似的单词 similar_words = model.wv.most_similar('natural', topn=3) print("与natural语义相似的单词：", similar_words) 
# 核心功能3：计算两个单词的语义相似度 similarity = model.wv.similarity('natural', 'language') print("natural与language的语义相似度：", similarity) 

# 基于前面构建的词袋模型语料库和词汇表，训练LDA模型 lda_model = models.LdaModel( corpus=corpus, 
# 词袋模型语料库 id2word=dictionary, 
# 词汇表（ID→单词映射） num_topics=2, 
# 预设主题数量（根据实际场景调整） random_state=100, 
# 随机种子，保证结果可复现 update_every=1, 
# 每迭代1次更新模型 chunksize=100, 
# 每次批量处理的文本数量 passes=10, 
# 训练轮数 alpha='auto', # alpha参数（自动调整） per_word_topics=True
# 输出每个单词在各主题中的概率 ) 
# 1. 查看每个主题的核心单词（前5个）
for topic_id in range(lda_model.num_topics): print(f"主题{topic_id+1}的核心单词：", lda_model.print_topic(topic_id, topn=5)) 
# 2. 推断单个文本的主题分布（输入为词袋向量） new_text = ['natural', 'language', 'computers'] new_text_bow = dictionary.doc2bow(new_text) topic_distribution = lda_model.get_document_topics(new_text_bow)
print("新文本的主题分布：", topic_distribution) # (主题ID, 主题概率)