Python爬虫之PhantomJS和handless的使用详解

import time
from selenium import webdriver
path = 'phantomjs.exe'
# 通过Selenium的webdriver调用PhantomJS
driver = webdriver.PhantomJS(path)
driver.get("http://www.baidu.com/")
# 获取页面名为 wrapper的id标签的文本内容
data = driver.find_element_by_id("wrapper").text
# 打印数据内容
print(data)
# 打印页面标题 "百度一下，你就知道
print(driver.title)
# 生成当前页面快照并保存
driver.save_screenshot("baidu.png")
time.sleep(2)
# 定位百度搜索输入框，输入字符串"王维家"
driver.find_element_by_id("kw").send_keys("王维家")
# 清除输入框的内容
driver.find_element_by_id("kw").clear()
# 定位百度搜索输入框，输入字符串"毛不易"
driver.find_element_by_id("kw").send_keys("毛不易")
# 定位百度搜索按钮并点击
driver.find_element_by_id("su").click()
# 获取新的页面快照并保存
driver.save_screenshot("maobuyi.png")
# 输出网页渲染后的源代码
# print(driver.page_source)
# 清除输入框的内容
driver.find_element_by_id("kw").clear()
# 输入框重新输入内容 “福禄寿”
driver.find_element_by_id("kw").send_keys("福禄寿")
# 提交搜索
driver.find_element_by_id("kw").submit()
time.sleep(2)
# 生成新的页面快照
driver.save_screenshot("福禄寿.png")
# 获取当前url
print(driver.current_url)
# 关闭当前页面，如果只有一个页面，会关闭浏览器
driver.quit()

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
import time
# 配置 handless 方法
def create_handless():
    # 创建一个参数对象，用来控制chrome以无界面模式打开
    chrome_options = Options()
    chrome_options.add_argument('--headless')
    chrome_options.add_argument('--disable-gpu')
    # chrome浏览器文件路径
    path = r'.C:\Program Files\Google\Chrome\Application\chromedriver.exe'
    chrome_options.binary_location = path
    # 创建浏览器对象
    browser = webdriver.Chrome(chrome_options=chrome_options)
    return browser
# 访问百度
url = 'http://www.baidu.com/'
browser = create_handless()
browser.get(url)
time.sleep(2)
browser.save_screenshot('baidu.png')  # 截取图片
browser.quit()