python+selenium实现自动化百度搜索关键词
更新时间:2019年06月03日 15:46:24 投稿:laozhang
在本篇文章里我们给大家分享了一篇关于python+selenium实现自动化百度搜索关键词的实例文章,需要的朋友们可以跟着操作下。
通过python配合爬虫接口利用selenium实现自动化打开chrome浏览器,进行百度关键词搜索。
1、安装python3,访问官网选择对应的版本安装即可,最新版为3.7。

2、安装selenium库。
使用 pip install selenium 安装即可。
同时需要安装chromedriver,并放在python安装文件夹下,如下图所示。

3、获取爬虫接口链接。
注册账号,点击爬虫代理,领取每日试用。

from selenium import webdriver
import requests,time
#自建IP池
def get_proxy():
r = requests.get('http://127.0.0.1:5555/random')
return r.text
import random
FILE = './tuziip.txt'
# 读取的txt文件路径
# 获取代理IP
def proxy_ip():
ip_list = []
with open(FILE, 'r') as f:
while True:
line = f.readline()
if not line:
break
ip_list.append(line.strip())
ip_port = random.choice(ip_list)
return ip_port
def bd():
chromeOptions = webdriver.ChromeOptions()
# 设置代理
chromeOptions.add_argument("--proxy-server=http://"+proxy_ip())
# 一定要注意,=两边不能有空格,不能是这样--proxy-server = http://202.20.16.82:10152
browser = webdriver.Chrome(chrome_options = chromeOptions)
# 查看本机ip,查看代理是否起作用
browser.get("https://www.baidu.com/")
browser.find_element_by_id("kw").send_keys("ip")
browser.find_element_by_id("su").click()
time.sleep(2)
browser.find_element_by_id("kw").clear()
time.sleep(1)
browser.find_element_by_id("kw").send_keys("百度")
browser.find_element_by_id("su").click()
time.sleep(2)
browser.find_element_by_id("kw").clear()
time.sleep(1)
browser.find_element_by_id("kw").send_keys("百度")
browser.find_element_by_id("su").click()
time.sleep(2)
browser.find_element_by_id("kw").clear()
time.sleep(1)
browser.close()
# 退出,清除浏览器缓存
browser.quit()
if __name__ == "__main__":
while True:
bd()
5、运行程序,如下图所示,可自动化搜索。

相关文章
打包FlaskAdmin程序时关于static路径问题的解决
近期写了个基于Flask-admin的数据库管理程序,通过pyinstaller打包,给别人用,经过几次尝试,打包的数据一直找不到static里面的样式文件,查阅资料后,最总把问题搞定了。写下处理流程,供后来人参考2021-09-09
解决Django中修改js css文件但浏览器无法及时与之改变的问题
今天小编就为大家分享一篇解决Django中修改js css文件但浏览器无法及时与之改变的问题,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧2019-08-08
django template实现定义临时变量,自定义赋值、自增实例
这篇文章主要介绍了django template实现定义临时变量,自定义赋值、自增实例,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧2020-07-07
Numpy中np.random.rand()和np.random.randn() 用法和区别详解
这篇文章主要介绍了Numpy中np.random.rand()和np.random.randn() 用法和区别详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧2020-10-10


最新评论