脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 脚本专栏 → python → Python3.4抓取爬虫功能

Python3.4编程实现简单抓取爬虫功能示例

 更新时间：2017年09月14日 09:13:48   作者：macwhirr123  
这篇文章主要介绍了Python3.4编程实现简单抓取爬虫功能,涉及Python3.4网页抓取及正则解析相关操作技巧,需要的朋友可以参考下

本文实例讲述了Python3.4编程实现简单抓取爬虫功能。分享给大家供大家参考，具体如下：

import urllib.request
import urllib.parse
import re
import urllib.request,urllib.parse,http.cookiejar
import time
def getHtml(url):
  cj=http.cookiejar.CookieJar()
  opener=urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cj))
  opener.addheaders=[('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.101 Safari/537.36'),('Cookie','4564564564564564565646540')]
  urllib.request.install_opener(opener)
  page = urllib.request.urlopen(url)
  html = page.read()
  return html
#print ( html)
#html = getHtml("http://weibo.com/")
def getimg(html):
  html = html.decode('utf-8')
  reg='"screen_name":"(.*?)"'
  imgre = re.compile(reg)
  src=re.findall(imgre,html)
  return src
#print ("",getimg(html))
uid=['2808675432','3888405676','2628551531','2808587400']
for a in list(uid):
  print (getimg(getHtml("http://weibo.com/"+a)))
  time.sleep(1)

更多关于Python相关内容可查看本站专题：《Python Socket编程技巧总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》、《Python入门与进阶经典教程》及《Python文件与目录操作技巧汇总》

希望本文所述对大家Python程序设计有所帮助。

您可能感兴趣的文章:

相关文章

  • springboot aop方式实现接口入参校验的示例代码

    springboot aop方式实现接口入参校验的示例代码

    在实际开发项目中,我们常常需要对接口入参进行校验,本文主要介绍了springboot aop方式实现接口入参校验的示例代码,具有一定的参考价值,感兴趣的可以了解一下
    2023-08-08
  • Python中性能分析利器pyinstrument详细讲解

    Python中性能分析利器pyinstrument详细讲解

    大家好，本篇文章主要讲的是Python中性能分析利器pyinstrument详细讲解，感兴趣的同学赶快来看一看吧，对你有帮助的话记得收藏一下
    2022-02-02
  • python 爬虫如何正确的使用cookie

    python 爬虫如何正确的使用cookie

    这篇文章主要介绍了python 爬虫如何使用cookie，帮助大家绕过网站设置的登录规则以及登录时的验证码识别，完成自身的爬取需求，感兴趣的朋友可以了解下
    2020-10-10
  • python单例模式获取IP代理的方法详解

    python单例模式获取IP代理的方法详解

    在使用python对网页进程访问时,以防被禁止,可用使用代理IP的方法减少被禁的可能，下面这篇文章主要给大家介绍了关于python单例模式获取IP代理的相关资料，需要的朋友可以参考借鉴，下面来一起看看吧
    2018-09-09
  • 解决Tkinter中button按钮未按却主动执行command函数的问题

    解决Tkinter中button按钮未按却主动执行command函数的问题

    这篇文章主要介绍了解决Tkinter中button按钮未按却主动执行command函数的问题，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教
    2021-05-05
  • python对文件目录的操作方法实例总结

    python对文件目录的操作方法实例总结

    这篇文章主要介绍了python对文件目录的操作方法,结合实例形式总结分析了Python针对文件目录相关的遍历、删除、移动、查找等操作技巧,需要的朋友可以参考下
    2019-06-06
  • Python使用BeautifulSoup进行页面解析

    Python使用BeautifulSoup进行页面解析

    在Python中,我们可以使用BeautifulSoup库来解析网页,BeautifulSoup提供了简单而强大的API,使得解析网页变得轻松而高效,下面小编就来为大家详细讲讲BeautifulSoup解析网页的具体操作吧
    2023-09-09
  • Python中操作mysql的pymysql模块详解

    Python中操作mysql的pymysql模块详解

    这篇文章给大家演示了如何安装以及使用Python中操作mysql的pymysql模块，本文介绍的很详细，对大家学习Python具有一定参考借鉴价值，有需要的朋友们一起来看看吧。
    2016-09-09
  • python ftplib模块使用代码实例

    python ftplib模块使用代码实例

    这篇文章主要介绍了python ftplib模块使用代码实例,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2019-12-12
  • win10环境下配置vscode python开发环境的教程详解

    win10环境下配置vscode python开发环境的教程详解

    这篇文章主要介绍了win10环境下配置python开发环境(vscode)的教程，非常不错，具有一定的参考借鉴价值,需要的朋友可以参考下
    2019-10-10

最新评论