Python实现word2Vec model过程解析

更新时间：2019年12月16日 12:02:01 作者：Leslie_Chan

这篇文章主要介绍了Python实现word2Vec model过程解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

import gensim, logging, os
logging.basicConfig(format='%(asctime)s : %(levelname)s : %(message)s', level=logging.INFO)
import nltk

corpus = nltk.corpus.brown.sents()

fname = 'brown_skipgram.model'
if os.path.exists(fname):
  # load the file if it has already been trained, to save repeating the slow training step below
  model = gensim.models.Word2Vec.load(fname)
else:
  # can take a few minutes, grab a cuppa
  model = gensim.models.Word2Vec(corpus, size=100, min_count=5, workers=2, iter=50)
  model.save(fname)

words = "woman women man girl boy green blue".split()
for w1 in words:
  for w2 in words:
    print(w1, w2, model.similarity(w1, w2))

print(model.most_similar(positive=['woman', ''], topn=1))
print(model.similarity('woman', 'girl'))girl

在gensim模块中已经封装了13年提出的model--word2vec，所以我们直接开始建立模型

这是建立模型的过程，最后会出现saving Word2vec的语句，代表已经成功建立了模型

这是输入了 gorvement和news关键词后所反馈的词语 --- administration，他们之间的相关性是0.508

当我在输入 women 和 man ，他们显示的相关性的0.638 ，已经是非常高的一个数字。

值得一提的是，我用的语料库是直接从nltk里的brown语料库。其中大概包括了一些新闻之类的数据。

大家如果感兴趣的话，可以自己建立该模型，通过传入不同的语料库，来calc 一些term的相关性噢

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。

您可能感兴趣的文章:

Python3.7实现中控考勤机自动连接
这篇文章主要为大家详细介绍了Python3.7实现中控考勤机自动连接，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
2018-08-08
python使用心得之获得github代码库列表
最近接了个项目，要求获得github的repo的api，度娘了一下，有不少文章介绍，总结了本文，分享给大家并附上代码
2014-06-06
Python使用monkey.patch_all()解决协程阻塞问题
这篇文章主要介绍了Python使用monkey.patch_all()解决协程阻塞问题,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
2020-04-04
详解如何利用Python进行客户分群分析
每个电子商务数据分析师必须掌握的一项数据聚类技能，如果你是一名在电子商务公司工作的数据分析师，从客户数据中挖掘潜在价值，来提高客户留存率很可能就是你的工作任务之一。这篇就来告诉你如何将客户分成不同的群组，并在一段时间内观察每个群组的留存率
2023-02-02
Python生成各式各样的图像特效实例
这篇文章主要为大家介绍了Python生成图像特效,本文重点介绍如何使用python进行图像处理,生成各式各样的图像特效,有需要的朋友可以借鉴参考下,希望能够有所帮助
2023-10-10
使用Python中PIL库给图片添加文本水印
有时候我们需要添加一定的水印以给自己的图片添加先关的标记,在Python中有相关的计算函数,下面这篇文章主要给大家介绍了关于使用Python中PIL库给图片添加文本水印的相关资料,需要的朋友可以参考下
2023-04-04
seek引发的python文件读写的问题及解决
这篇文章主要介绍了seek引发的python文件读写的问题及解决,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
2019-07-07
Python中optionParser模块的使用方法实例教程
这篇文章主要介绍了Python中optionParser模块的使用方法,功能非常强大,需要的朋友可以参考下
2014-08-08
为什么说python适合写爬虫
在本文中，小编给读者们整理的一篇关于分析为什么说python适合写爬虫的语言的相关内容，有兴趣的朋友们可以学习下。
2020-06-06
Python网络爬虫之爬取微博热搜
这篇文章主要介绍了Python网络爬虫之爬取微博热搜的相关知识，非常不错，具有一定的参考借鉴价值,需要的朋友可以参考下
2019-04-04