用Python中的字典来处理索引统计的方法
最近折腾索引引擎以及数据统计方面的工作比较多, 与 Python 字典频繁打交道, 至此整理一份此方面 API 的用法与坑法备案.
索引引擎的基本工作原理便是倒排索引, 即将一个文档所包含的文字反过来映射至文档; 这方面算法并没有太多花样可言, 为了增加效率, 索引数据尽可往内存里面搬, 此法可效王献之习书法之势, 只要把十八台机器内存全部塞满, 那么基本也就功成名就了. 而基本思路举个简单例子, 现在有以下文档 (分词已经完成) 以及其包含的关键词
doc_a: [word_w, word_x, word_y] doc_b: [word_x, word_z] doc_c: [word_y]
将其变换为
word_w -> [doc_a] word_x -> [doc_a, doc_b] word_y -> [doc_a, doc_c] word_z -> [doc_b]
写成 Python 代码, 便是
doc_a = {'id': 'a', 'words': ['word_w', 'word_x', 'word_y']}
doc_b = {'id': 'b', 'words': ['word_x', 'word_z']}
doc_c = {'id': 'c', 'words': ['word_y']}
docs = [doc_a, doc_b, doc_c]
indices = dict()
for doc in docs:
for word in doc['words']:
if word not in indices:
indices[word] = []
indices[word].append(doc['id'])
print indices
不过这里有个小技巧, 就是对于判断当前词是否已经在索引字典里的分支
if word not in indices: indices[word] = []
可以被 dict 的 setdefault(key, default=None) 接口替换. 此接口的作用是, 如果 key 在字典里, 那么好说, 拿出对应的值来; 否则, 新建此 key , 且设置默认对应值为 default . 但从设计上来说, 我不明白为何 default 有个默认值 None , 看起来并无多大意义, 如果确要使用此接口, 大体都会自带默认值吧, 如下
for doc in docs:
for word in doc['words']:
indices. setdefault(word, []) .append(doc['id'])
这样就省掉分支了, 代码看起来少很多.
不过在某些情况下, setdefault 用起来并不顺手: 当 default 值构造很复杂时, 或产生 default 值有副作用时, 以及一个之后会说到的情况; 前两种情况一言以蔽之, 就是 setdefault 不适用于 default 需要惰性求值的场景. 换言之, 为了兼顾这种需求, setdefault 可能会设计成
def setdefault(self, key, default_factory):
if key not in self:
self[key] = default_factory()
return self[key]
倘若真如此, 那么上面的代码应改成
for doc in docs:
for word in doc['words']:
indices.setdefault(word, list ).append(doc['id'])
不过实际上有其它替代方案, 这个最后会提到.
如果说上面只是一个能预见但实际上可能根本不会遇到的 API 缺陷, 那么下面这个就略打脸了.
考虑现在要进行词频统计, 即一个词在文章中出现了多少次, 如果直接拿 dict 来写, 大致是
def word_count(words):
count = dict()
for word in words:
count.setdefault(word, 0) += 1
return count
print word_count(['hiiragi', 'kagami', 'hiiragi', 'tukasa', 'yosimizu', 'kagami'])
当你兴致勃勃地跑起上面代码时, 代码会以迅雷不及掩脸之势把异常甩到你鼻尖上 --- 因为出现在 += 操作符左边的 count.setdefault(word, 0) 在 Python 中不是一个左值. 怎样, 现在开始念叨 C艹 类型体系的好了吧.
因为 Python 把默认的字面常量 {} 等价于 dict() 就认为 dict 是银弹的思想是要不得的; Python 里面各种数据结构不少, 解决统计问题, 理想的方案是 collections.defaultdict 这个类. 下面的代码想必看一眼就明白
from collections import defaultdict
doc_a = {'id': 'a', 'words': ['word_w', 'word_x', 'word_y']}
doc_b = {'id': 'b', 'words': ['word_x', 'word_z']}
doc_c = {'id': 'c', 'words': ['word_y']}
docs = [doc_a, doc_b, doc_c]
indices = defaultdict(list)
for doc in docs:
for word in doc['words']:
indices[word].append(doc['id'])
print indices
def word_count(words):
count = defaultdict(int)
for word in words:
count[word] += 1
return count
print word_count(['hiiragi', 'kagami', 'hiiragi', 'tukasa', 'yosimizu', 'kagami'])
完满解决了之前遇到的那些破事.
此外 collections 里还有个 Counter , 可以粗略认为它是 defaultdict(int) 的扩展.
相关文章
这篇文章主要介绍了Python设计模式之外观模式,结合实例形式详细分析了外观模式的概念、原理、用法及相关操作注意事项,需要的朋友可以参考下2019-01-01
这篇文章主要介绍了python 单线程和异步协程工作方式解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-09-09
Matplotlib能够绘制折线图、散点图、柱状图、直方图、饼图. 我们需要知道不同的统计图的意义,以此来决定选择哪种统计图来呈现我们的数据,今天就带大家详细了解如何绘制这些常用图形,需要的朋友可以参考下2021-06-06
本文主要介绍了Python socket之TCP通信及下载文件的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2023-02-02
今天小编就为大家分享一篇python将时分秒转换成秒的实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-12-12
python作为使用最广泛的编程语言之一，有着无穷无尽的第三方非标准库的支持。但python有一个经常被人诟病的缺点那就是运行速度，所以本文和大家分享了五个提升Python的执行效率的技巧，希望对大家有所帮助2023-04-04
今天小编就为大家分享一篇Python字典底层实现原理详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-12-12
Python自动化测试pytest中fixtureAPI简单说明
这篇文章主要为大家介绍了Python自动化测试pytest中fixtureAPI的简单说明，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步2021-10-10
在本文中,我们将学习如何使用Python创建一个简单的图片爬虫,我们将利用requests库来发送HTTP请求,BeautifulSoup库来解析HTML页面,以及os和shutil库来下载和保存图片,通过这个教程,你将学会如何爬取网页上的图片并保存到本地,需要的朋友可以参考下2024-02-02
这篇文章主要介绍了Python爬虫之爬取最新更新的小说网站,文中有非常详细的代码示例,对正在学习python爬虫的小伙伴们有非常好的帮助,需要的朋友可以参考下2021-05-05
最新评论