python selenium.webdriver 爬取政策文件的实现

更新时间：2023年07月20日 10:14:48 作者：Cachel wood

本文主要介绍了python selenium.webdriver 爬取政策文件的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧

获取文章链接

获取中央人民政府网站链接，进入国务院政策文件库，分为国务院文件和部门文件（发改委、工信部、交通运输部、市场监督局、商务部等）

搜索关键词——汽车，即可得到按照相关度或者时间排列的政策文件。

批量爬取政策文件

批量获取文件链接并存入列表

应用selenium爬取文件信息

利用xpath定位链接、索引号、标题、发文机关、发文字号、主题分类、成文日期、发布日期、文件内容等信息。

右侧通过光标定位各部分信息，右键点击 copy 并选择 copy xpath即可复制xpath路径。

完整代码

from selenium import webdriver
from urllib.error import HTTPError
from selenium.webdriver.common.by import By   #selenium新版本写法
import warnings
warnings.filterwarnings('ignore')
"""
爬虫国务院文件
传入链接，返还链接内的全部内容，生成字典
"""
def get_info(id,url):
    options = webdriver.ChromeOptions()
    options.add_argument('--headless')
    options.add_argument('--no-sandbox')
    options.add_argument('--disable-dev-shm-usage')
    driver = webdriver.Chrome(options=options)
    link = {}
    driver.get(url)
    try:
        link['文章ID'] = id  # 序列ID，从0—现有的文件数
        link['链接'] = url  # 原文链接
        #time.sleep(3)
        link['索引号'] = driver.find_element(By.XPATH,
            '/html/body/div[4]/div/div[2]/div[1]/table/tbody/tr/td/table/tbody/tr[1]/td[2]').text  # 索引号
        link['标题'] = driver.find_element(By.XPATH,
            "/html/body/div[4]/div/div[2]/div[1]/table/tbody/tr/td/table/tbody/tr[3]/td[2]").text  # 标题
        link['发文机关'] = driver.find_element(By.XPATH,
            "/html/body/div[4]/div/div[2]/div[1]/table/tbody/tr/td/table/tbody/tr[2]/td[2]").text  # 发文机关
        link['发文字号'] = driver.find_element(By.XPATH,
            "/html/body/div[4]/div/div[2]/div[1]/table/tbody/tr/td/table/tbody/tr[4]/td[2]").text  # 发文字号
        link['主题分类'] = driver.find_element(By.XPATH,
            "/html/body/div[4]/div/div[2]/div[1]/table/tbody/tr/td/table/tbody/tr[1]/td[4]").text  # 主题分类
        link['成文日期'] = driver.find_element(By.XPATH,
            "/html/body/div[4]/div/div[2]/div[1]/table/tbody/tr/td/table/tbody/tr[2]/td[4]").text  # 成文日期
        link['发布日期'] = driver.find_element(By.XPATH,
            '/html/body/div[4]/div/div[2]/div[1]/table/tbody/tr/td/table/tbody/tr[4]/td[4]')   # 发布日期
        link['文件内容'] = driver.find_element(By.XPATH,"//*[@id='UCAP-CONTENT']").text  # 内容
        with open('汽车/国务院文件/'+link['标题']+'.txt','w',encoding='utf-8') as file:
            file.write(link['文件内容'])
    except HTTPError:
        return None
    driver.quit()
    return link

数据处理

每次爬取单一文件信息并整理为dataframe，之后按行合并。

import pandas as pd
df = pd.DataFrame()
with open('link1.txt','r',encoding='utf-8') as f:
    links = f.readlines()
for id,url in enumerate(links):
    url = url.strip('\n')
    print(url)
    result = get_info(id,url)
    df1 = pd.DataFrame.from_dict(result,'index').T
    df = pd.concat([df,df1],axis=0)
df

导出为excel

df.to_excel('汽车行业政策文本研究.xlsx',index=False)

到此这篇关于python selenium.webdriver 爬取政策文件的实现的文章就介绍到这了,更多相关python selenium.webdriver 爬取内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

python中反射用法实例
这篇文章主要介绍了python中反射用法,实例分析了Python中反射的原理与使用技巧,具有一定参考借鉴价值,需要的朋友可以参考下
2015-03-03
Python实现批量转换文件编码的方法
这篇文章主要介绍了Python实现批量转换文件编码的方法,涉及Python针对文件的遍历及编码转换实现技巧,具有一定参考借鉴价值,需要的朋友可以参考下
2015-07-07
如何用python实现一个HTTP连接池
这篇文章主要介绍了如何用python实现一个HTTP连接池的步骤，帮助大家更好的理解和使用python，感兴趣的朋友可以了解下
2021-01-01
如何使用selenium和requests组合实现登录页面
这篇文章主要介绍了如何使用selenium和requests组合实现登录页面,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
2020-02-02
基于Python+PyQt5实现串口数据采集和显示
文章介绍了如何使用Python和PyQt5实现串口数据采集和实时通信,首先,文章详细描述了环境搭建步骤,包括Python和PyQt5的安装和配置,文章详细说明了程序实现的各个步骤,包括串口设置、数据读取、数据发送和报文解析等,需要的朋友可以参考下
2025-05-05
python实现逢七拍腿小游戏的思路详解
这篇文章主要介绍了python实现逢七拍腿小游戏的思路，本文通过实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
2020-05-05
Pycharm新手使用教程(图文详解)
这篇文章主要介绍了Pycharm新手使用教程(图文详解)，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2020-09-09
python中利用zfill方法自动给数字前面补0
python中有一个zfill方法用来给字符串前面补0，非常不错，下面小编给大家分享了实例代码，非常不错，具有参考借鉴价值，需要的朋友参考下吧
2018-04-04
Matplotlib直方图绘制中的参数bins和rwidth的实现
本文主要介绍了Matplotlib直方图绘制中的参数bins和rwidth的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2022-02-02
python函数enumerate,operator和Counter使用技巧实例小结
这篇文章主要介绍了python函数enumerate,operator和Counter使用技巧,结合实例形式总结分析了python内置函数enumerate,operator和Counter基本功能、原理、用法及操作注意事项,需要的朋友可以参考下
2020-02-02