Python实现word2Vec model过程解析
更新时间：2019年12月16日 12:02:01 作者：Leslie_Chan
这篇文章主要介绍了Python实现word2Vec model过程解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
这篇文章主要介绍了Python实现word2Vec model过程解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
import gensim, logging, os
logging.basicConfig(format='%(asctime)s : %(levelname)s : %(message)s', level=logging.INFO)
import nltk
corpus = nltk.corpus.brown.sents()
fname = 'brown_skipgram.model'
if os.path.exists(fname):
# load the file if it has already been trained, to save repeating the slow training step below
model = gensim.models.Word2Vec.load(fname)
else:
# can take a few minutes, grab a cuppa
model = gensim.models.Word2Vec(corpus, size=100, min_count=5, workers=2, iter=50)
model.save(fname)
words = "woman women man girl boy green blue".split()
for w1 in words:
for w2 in words:
print(w1, w2, model.similarity(w1, w2))
print(model.most_similar(positive=['woman', ''], topn=1))
print(model.similarity('woman', 'girl'))girl
在gensim模块中已经封装了13年提出的model--word2vec，所以我们直接开始建立模型
这是建立模型的过程，最后会出现saving Word2vec的语句，代表已经成功建立了模型
这是输入了 gorvement和news关键词后 所反馈的词语 --- administration， 他们之间的相关性是0.508
当我在输入 women 和 man ，他们显示的相关性的0.638 ，已经是非常高的一个数字。
值得一提的是，我用的语料库是直接从nltk里的brown语料库。其中大概包括了一些新闻之类的数据。
大家如果感兴趣的话，可以自己建立该模型，通过传入不同的语料库，来calc 一些term的 相关性噢
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。
相关文章
本指南详细讲解如何使用Python操作MySQL、Oracle和Microsoft SQL Server数据库,涵盖常用库、基础操作、高级功能及完整代码示例,需要的朋友可以参考下2025-03-03
Python进程multiprocessing.Process()的使用解读
这篇文章主要介绍了Python进程multiprocessing.Process()的使用,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教2024-02-02
这篇文章主要介绍了python xml模块的简单使用，帮助大家更好的理解和学习使用python，感兴趣的朋友可以了解下2021-03-03
今天小编就为大家分享一篇python:接口间数据传递与调用方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-12-12
这篇文章主要为大家详细介绍了Linux终端上python实现简易聊天室功能，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2021-07-07
Python调用ChatGPT制作基于Tkinter的桌面时钟
这篇文章主要为大家详细介绍了Python如何调用ChatGPT制作基于Tkinter的桌面时钟，文中的示例代码讲解详细，感兴趣的可以了解一下2023-03-03
这篇文章主要介绍了python数据操作之lambda表达式详情，文章基于python的相关资料展开lambda表达式具体的内容，感兴趣的小伙伴可以参考一下2022-05-05
这篇文章主要为大家详细介绍了python机器人行走步数问题的解决，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2018-01-01
本文主要介绍了Django的模板语法、请求与响应,包括如何创建和渲染模板文件、传参机制、静态文件的引入以及如何处理GET和POST请求,通过综合小案例,展示了如何使用Django实现一个简单的登录页面并根据用户名密码进行验证,感兴趣的朋友跟随小编一起看看2025-01-01
现在有的小伙伴为了躲避中文乱码的问题甚至代码中不使用中文，注释和提示都用英文，我曾经也这样干过，但这并不是解决问题，而是逃避问题，今天我们一起彻底解决 Python 中文乱码的问题2020-02-02
最新评论