使用Python的Tornado框架实现一个简单的WebQQ机器人

 更新时间:2015年04月24日 09:38:29   作者:C Wong  
这篇文章主要介绍了使用Python的Tornado框架实现一个简单的WebQQ机器人,Tornado的异步特性可以提高I/O性能,需要的朋友可以参考下

我打算将WebQQ单独出来运行, 一开始直接拷贝了pyxmpp2的mainloop, 但是跑起来问题多多, 所以我又研究了利用Tornado进行网络编程(这里), 所以我放弃了Pyxmpp2的mainloop,使用Tornado进行重写

首先放出项目代码
引子

WebQQ协议是一套基于HTTP的QQ协议, 而用Python的urllib2库进行请求太慢, 因为HTTP本身就使用socket请求, 所以改用多路复用I/O模型, 而Tornado简单高效, 看过代码后可以轻松上手.平台兼容性很好, 所以选择Tornado作为网络框架.
原理

首先实现了一个 HTTPStream类, 其主要接口是add_request方法, 它接受一个必选参数:request 是一个 urllib2.Request的实例, 和一个可选参数:readback是一个接受一个urllib2.urlopen(request)返回的Response参数的读取函数, 代码如下:

class HTTPStream(object):
  # 省略若干代码
  def add_request(self, request, readback = None):
    if not isinstance(request, urllib2.Request):
      raise ValueError, "Not a invaid requset"

    # 此处易触发timeout异常, 省略处理异常代码
    sock, data = self.http_sock.make_http_sock_data(request)

    fd = sock.fileno()
    self.fd_map[fd] = sock
    self.fd_request_map[fd] = request
    callback = partial(self._handle_events, request, data, readback)
    self.ioloop.add_handler(fd, callback, IOLoop.WRITE)

HTTPStream.add_request将urllib2.Request的实例解析出一个socket和一个用于socket发送的数据.前面文章介绍过了, tornado.ioloop.IOLoop.add_handler用于将注册socket, 其需要三个参数: socket的文件描述符, 接受文件描述符和事件参数的回调, 和注册的事件.

我们用到的回调是HTTPStream._handle_events:

class HTTPStream(object):
  # 省略若干代码
  def _handle_events(self, request, data, readback, fd, event):
    """ 用于处理Tornado事件
    Arguments:
      `request`  -  urllib.Request
      `data`   -  socket要写入的数据
      `readback` -  读取函数
      以上参数应当使用partial封装然后将此方法作为IOLoop.add_handler的callback
      `fd`    -  IOLoop传递 文件描述符
      `event`   -  IOLoop传递 tornado
    """
    s = self.fd_map[fd]

    if event & IOLoop.READ:
      # 省略错误处理
      resp = self.http_sock.make_response(s, request)
      args = readback(resp)
      s.setblocking(False)
      if args and len(args) == 3:
        t = threading.Thread(target = self.add_delay_request, args = args)
        t.setDaemon(True)
        t.start()

      if args and len(args) == 2:
        self.add_request(*args)
      self.ioloop.remove_handler(fd)

    if event & IOLoop.WRITE:
      s.sendall(data)
      if readback:
        self.ioloop.update_handler(fd, IOLoop.READ)
      else:
        self.ioloop.remove_handler(fd)

    if event & IOLoop.ERROR:
      pass

它接受的参数上面注释写的很清楚, 不做解释, 所以将此方法通过functools.partial封装做为callback传递给tornado.ioloop.IOLoop.add_handler, 并注册为写事件, 以便发送HTTP请求.

HTTPStream._handle_events用于处理事件, 当事件为写时就发送HTTP请求(根据urllib2.Request生成的用于发送的数据), 并判断是否有读取函数, 有则注册读事件, 当事件为读时就从socket中构建一个Response并传递给读取函数, 读取函数会返回3个值, 分别为: 下一个请求, 请求的读取函数(可为None, 为None则只请求不读取), 下一个请求的延迟(多长事件后添加此请求, 可选, 单位为秒)

依据读取函数返回的三个值来确定下一个请求, 并完成一系列的请求. 更加完整的代码请参见文章开头给出的项目代码

HTTPStream.http_sock.make_response执行时会将socket设为阻塞, 因为不设置阻塞会出现httplib.BadStatusLine异常.读取函数执行完毕,重新将socket设置为非阻塞, 并移除此socket(虽然做了这样的处理但是QQ连接时间稍长还是会触发httplib.BadStatusLine异常)

相关文章

  • jupyter %matplotlib inline报错TypeError:print_svg() got an unexpected keyword argument‘orientation‘问题

    jupyter %matplotlib inline报错TypeError:print_svg()&

    在Jupyter Notebook使用matplotlib时出现TypeError错误,一般是由于ipython和matplotlib版本不兼容造成的,通过安装ipympl并将魔法命令替换为%matplotlib ipympl,可以解决这个问题
    2024-09-09
  • python中xml格式的转换方法

    python中xml格式的转换方法

    这篇文章主要为大家详细介绍了python中xml格式的转换方法,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2022-08-08
  • Pygame代码 制作一个贪吃蛇小游戏

    Pygame代码 制作一个贪吃蛇小游戏

    这篇文章主要介绍了100行Pygame代码 制作一个贪吃蛇小游戏,相信我们大家都玩过贪吃蛇游戏,今天我们就从头一起来写一个贪吃蛇小游戏,只需要100多行的代码就完成了,需要的朋友可以参考一下
    2021-12-12
  • 1分钟快速生成用于网页内容提取的xslt

    1分钟快速生成用于网页内容提取的xslt

    这篇文章主要教大家如何1分钟快速生成用于网页内容提取的xslt,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2018-02-02
  • Cpython3.9源码解析python中的大小整数

    Cpython3.9源码解析python中的大小整数

    这篇文章主要介绍了Cpython3.9源码解析python中的大小整数,在CPython中,小整数对象池是一种优化机制,用于减少对常用小整数的内存分配和销毁开销,需要的朋友可以参考下
    2023-04-04
  • Pytorch数据读取之Dataset和DataLoader知识总结

    Pytorch数据读取之Dataset和DataLoader知识总结

    Dataset和DataLoader都是Pytorch里面读取数据的工具.现在对这两种工具做一个概括和总结,对正在学习Pytorch的小伙伴们很有帮助,需要的朋友可以参考下
    2021-05-05
  • python 两种方法修改文件的创建时间、修改时间、访问时间

    python 两种方法修改文件的创建时间、修改时间、访问时间

    这篇文章主要介绍了python 如何修改文件的创建时间、修改时间、访问时间的两种方法,帮助大家更好的利用python处理文件,感兴趣的朋友可以了解下
    2020-09-09
  • Yolov5多边形标签和JSON数据格式转换

    Yolov5多边形标签和JSON数据格式转换

    通过labelme对图进行标注后,得到的是json文件,而Yolov5对数据进行模型构建的时候,读取需要的是txt格式的文件。所以需要先通过Python进行文件格式的转换,需要的朋友可以参考下
    2023-05-05
  • 以Flask为例讲解Python的框架的使用方法

    以Flask为例讲解Python的框架的使用方法

    这篇文章主要介绍了Python的框架的使用方法,文中以Flask框架的安装为例进行讲解,代码基于Python2.x版本,需要的朋友可以参考下
    2015-04-04
  • Django中redis的使用方法(包括安装、配置、启动)

    Django中redis的使用方法(包括安装、配置、启动)

    下面小编就为大家分享一篇Django中redis的使用方法(包括安装、配置、启动),具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2018-02-02

最新评论