脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 脚本专栏 → python → Python编程使用NLTK进行自然语言处理

Python编程使用NLTK进行自然语言处理详解

 更新时间：2017年11月16日 09:16:23   作者：白马负金羁  
这篇文章主要介绍了Python编程使用NLTK进行自然语言处理详解，涉及了nltk和开发环境的简单介绍，以及SentencesSegment，SentencesSegment等内容，具有一定参考价值，需要的朋友可以了解下。

自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。自然语言工具箱（NLTK，NaturalLanguageToolkit）是一个基于Python语言的类库，它也是当前最为流行的自然语言编程与开发工具。在进行自然语言处理研究和应用时，恰当利用NLTK中提供的函数可以大幅度地提高效率。本文就将通过一些实例来向读者介绍NLTK的使用。

NLTK

NaturalLanguageToolkit，自然语言处理工具包，在NLP领域中，最常使用的一个Python库。

NLTK是一个开源的项目，包含：Python模块，数据集和教程，用于NLP的研究和开发  。
NLTK由Steven Bird和Edward Loper在宾夕法尼亚大学计算机和信息科学系开发。
NLTK包括图形演示和示例数据。其提供的教程解释了工具包支持的语言处理任务背后的基本概念。

开发环境：我所使用的Python版本是最新的3.5.1，NLTK版本是3.2。Python的安装不在本文的讨论范围内，我们略去不表。你可以从NLTK的官网上http://www.nltk.org/获得最新版本的NLTK。Anyway，使用pip指令来完成NLTK包的下载和安装无疑是最简便的方法。

当然，当你完成这一步时，其实还不够。因为NLTK是由许多许多的包来构成的，此时运行Python，并输入下面的指令（当然，第一条指令还是要导入NLTK包）

>>> import nltk 
>>> nltk.download()

然后，Python Launcher会弹出下面这个界面，建议你选择安装所有的Packages，以免去日后一而再、再而三的进行安装，也为你的后续开发提供一个稳定的环境。某些包的Status显示“out of date”，你可以不必理会，它基本不影响你的使用与开发。

既然你已经安装成功，我们来小试牛刀一下。当然本文涉及的主要任务都是自然语言处理中最常用，最基础的pre-processing过程，结合机器学习的高级应用我们会在后续文章中再进行介绍。

1、SentencesSegment（分句）

也就是说我们手头有一段文本，我们希望把它分成一个一个的句子。此时可以使用NLTK中的punktsentencesegmenter。来看示例代码

>>> sent_tokenizer = nltk.data.load('tokenizers/punkt/english.pickle') 
>>> paragraph = "The first time I heard that song was in Hawaii on radio.  
... I was just a kid, and loved it very much! What a fantastic song!" 
>>> sentences = sent_tokenizer.tokenize(paragraph) 
>>> sentences 
['The first time I heard that song was in Hawaii on radio.',  
 'I was just a kid, and loved it very much!',  
 'What a fantastic song!']

由此，我们便把一段话成功分句了。

2、SentencesSegment（分词）

接下来我们要把每个句话再切割成逐个单词。最简单的方法是使用NLTK包中的WordPuncttokenizer。来看示例代码

>>> from nltk.tokenize import WordPunctTokenizer 
>>> sentence = "Are you old enough to remember Michael Jackson attending  
... the Grammys with Brooke Shields and Webster sat on his lap during the show?" 
>>> words = WordPunctTokenizer().tokenize(sentence) 
>>> words 
['Are', 'you', 'old', 'enough', 'to', 'remember', 'Michael', 'Jackson', 'attending', 
 'the', 'Grammys', 'with', 'Brooke', 'Shields', 'and', 'Webster', 'sat', 'on', 'his', 
 'lap', 'during', 'the', 'show', '?']

我们的分词任务仍然完成的很好。除了WordPunct tokenizer之外，NLTK中还提供有另外三个分词方法，
TreebankWordTokenizer，PunktWordTokenizer和WhitespaceTokenizer，而且他们的用法与WordPunct tokenizer也类似。然而，显然我们并不满足于此。对于比较复杂的词型，WordPunct tokenizer往往并不胜任。此时我们需要借助正则表达式的强大能力来完成分词任务，此时我所使用的函数是regexp_tokenize()。来看下面这段话

>>> text = 'That U.S.A. poster-print costs $12.40...'

目前市面上可以参考的在Python下进行自然语言处理的书籍是由Steven Bird、Ewan Klein、Edward Loper编写的《Python 自然语言处理》。但是该书的编写时间距今已有近十年的时间，由于软件包更新等语言，在新环境下进行开发时，书中的某些代码并不能很正常的运行。最后，我们举一个书中代码out of date的例子（对上面这就话进行分词），并给出相应的解决办法。首先来看书中的一段节录

>>> text = 'That U.S.A. poster-print costs $12.40...' 
>>> pattern = r'''''(?x)  # set flag to allow verbose regexps 
...   ([A-Z]\.)+    # abbreviations, e.g. U.S.A. 
...  | \w+(-\w+)*    # words with optional internal hyphens 
...  | \$?\d+(\.\d+)?%? # currency and percentages, e.g. $12.40, 82% 
...  | \.\.\.      # ellipsis 
...  | [][.,;"'?():-_`] # these are separate tokens; includes ], [ 
... ''' 
>>> nltk.regexp_tokenize(text, pattern)

我们预期得到输出应该是这样的

['That', 'U.S.A.', 'poster-print', 'costs', '$12.40', '...']

但是我们实际得到的输出却是这样的（注意我们所使用的NLTK版本）

[('', '', ''), 
 ('A.', '', ''), 
 ('', '-print', ''), 
 ('', '', ''), 
 ('', '', '.40'), 
 ('', '', '')]

会出现这样的问题是由于nltk.internals.compile_regexp_to_noncapturing()在V3.1版本的NLTK中已经被抛弃（尽管在更早的版本中它仍然可以运行），为此我们把之前定义的pattern稍作修改

pattern = r"""(?x)          # set flag to allow verbose regexps 
       (?:[A-Z]\.)+      # abbreviations, e.g. U.S.A. 
       |\d+(?:\.\d+)?%?    # numbers, incl. currency and percentages 
       |\w+(?:[-']\w+)*    # words w/ optional internal hyphens/apostrophe 
       |\.\.\.        # ellipsis 
       |(?:[.,;"'?():-_`])  # special characters with meanings 
      """

再次执行前面的语句，便会得到

>>> nltk.regexp_tokenize(text, pattern) 
['That', 'U.S.A.', 'poster-print', 'costs', '12.40', '...']

以上便是我们对NLTK这个自然语言处理工具包的初步探索，日后主页君将结合机器学习中的方法再来探讨一些更为深入的应用。最后，我想说《Python 自然语言处理》仍然是当前非常值得推荐的一本讲述利用NLTK和Python进行自然语言处理技术的非常值得推荐的书籍。

总结

以上就是本文关于Python编程使用NLTK进行自然语言处理详解的全部内容，希望对大家有所帮助。感兴趣的朋友可以继续参阅本站：

python中requests库session对象的妙用详解

13个最常用的Python深度学习库介绍

python爬虫系列Selenium定向爬取虎扑篮球图片详解

如有不足之处，欢迎留言指出。

您可能感兴趣的文章:

相关文章

  • python实现对象列表根据某个属性排序的方法详解

    python实现对象列表根据某个属性排序的方法详解

    这篇文章主要介绍了python实现对象列表根据某个属性排序的方法,结合具体实例形式详细分析了Python对象列表遍历、排序的两种常见操作技巧,需要的朋友可以参考下
    2019-06-06
  • Python密码学仿射密码及攻击单字母密码教程

    Python密码学仿射密码及攻击单字母密码教程

    这篇文章主要为大家介绍了Python密码学仿射及攻击单字母密码教程，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪
    2022-05-05
  • PyTorch中permute的基本用法示例

    PyTorch中permute的基本用法示例

    pytorch中的permute就像是numpy中的transpose()函数一样,根据指定的维度进行转置,下面这篇文章主要给大家介绍了关于PyTorch中permute的基本用法,需要的朋友可以参考下
    2022-04-04
  • CentOS中使用virtualenv搭建python3环境

    CentOS中使用virtualenv搭建python3环境

    virtualenv可以搭建虚拟且独立的python环境，可以使每个项目环境与其他项目独立开来，保持环境的干净，解决包冲突问题。下面我们来详细探讨下centos中如何来搭建。
    2015-06-06
  • python2.7实现复制大量文件及文件夹资料

    python2.7实现复制大量文件及文件夹资料

    这篇文章主要为大家详细介绍了python2.7实现复制大量文件及文件夹资料，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
    2019-08-08
  • python实现希尔密码加密的示例代码

    python实现希尔密码加密的示例代码

    本文主要介绍了python实现希尔密码加密，文中通过示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
    2021-08-08
  • 如何使用Python保存PPT中的形状为图像文件

    如何使用Python保存PPT中的形状为图像文件

    将PowerPoint演示文稿中的形状（幻灯片中的内容元素,包括文本框、图形、图片、图表等）保存为图片是方便内容跨平台分享和再利用的有效手段,本文将演示如何使用Python保存PowerPoint演示文稿中的形状为图像文件,需要的朋友可以参考下
    2024-10-10
  • Python考拉兹猜想输出序列代码实践

    Python考拉兹猜想输出序列代码实践

    这篇文章主要介绍了Python考拉兹猜想输出序列代码实践,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2019-07-07
  • python实现批量视频分帧、保存视频帧

    python实现批量视频分帧、保存视频帧

    这篇文章主要为大家详细介绍了python实现批量视频分帧、保存视频帧，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
    2019-05-05
  • pytorch 实现在预训练模型的 input上增减通道

    pytorch 实现在预训练模型的 input上增减通道

    今天小编就为大家分享一篇pytorch 实现在预训练模型的 input上增减通道，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2020-01-01

最新评论