使用selenium+chromedriver+xpath爬取动态加载信息

#_*_coding:utf-8_*_
# 作者      ：liuxiaowei
# 创建时间   ：2/7/22 6:43 PM
# 文件      ：获取京东商品信息.py
# IDE      ：PyCharm

from selenium import webdriver  # 导入浏览器驱动模块
from selenium.webdriver.support.wait import WebDriverWait  # 导入等待类
from selenium.webdriver.support import expected_conditions as EC  # 等待条件
from selenium.webdriver.common.by import By                       # 节点定位

#from selenium.webdriver.chrome.service import Service

try:
    # 创建谷歌浏览器驱动参数对象
    chrome_options = webdriver.ChromeOptions()
    # 不加载图片
    prefs = {"profile.managed_default_content_settings.images": 2}
    chrome_options.add_experimental_option("prefs", prefs)
    # 使用headless无界面浏览器模式
    chrome_options.add_argument('--headless')
    chrome_options.add_argument('--disable-gpu')
    # 加载谷歌浏览器驱动
		driver = webdriver.Chrome(options = chrome_options, executable_path='chromedriver')
    # 请求地址
    driver.get('https://item.jd.com/12353915.html')
    wait = WebDriverWait(driver,10)    # 等待10秒
    # 等待页面加载class名称为m-item-inner的节点，该节点中包含商品信息
    wait.until(EC.presence_of_element_located((By.CLASS_NAME,"w")))

    # 获取name节点中所有div节点
    name_div1 = driver.find_element(By.XPATH,'//div[@class="sku-name"]')
    name_div2 = driver.find_element(By.XPATH, '//div[@class="news"]/div[@class="item hide"]')
    name_div3 = driver.find_element(By.XPATH, '//div[@class="p-author"]')
    summary_price = driver.find_element(By.XPATH, '//div[@class="summary-price J-summary-price"]')
    print('提取的商品标题如下：')
    print(name_div1.text)         # 打印商品标题
    print('提取的商品宣传语如下：')
    print(name_div2.text)         # 打印宣传语
    print('提取的编著信息如下：')
    print(name_div3.text)         # 打印编著信息
    print('提取的价格信息如下：')
    print(summary_price.text.strip('降价通知'))       # 打印价格信息
    driver.quit()  # 退出浏览器驱动
except Exception as e:
    print('显示异常信息！', e)

		# 获取商品信息节点中的所有div节点
  	name_div = driver.find_element(By.XPATH,'//div[@class="itemInfo-wrap"]').find_elements(By.TAG_NAME, 'div')

    # 提取并输出单个div节点的内容
    print('提取的商品标题如下：')
    print(name_div[0].text)         # 打印商品标题
    print('提取的商品宣传语如下：')		 # 打印商品宣传语
    print(name_div[1].text)    

# 根据XPath定位获取指定节点中的href地址
href = driver.find_element(By.XPATH, '//div[@id="p-author"]/a').get_attribute('href')
print('指定节点中的地址信息如下：')

 # 加载谷歌浏览器驱动
driver = webdriver.Chrome(options = chrome_options, executable_path='chromedriver')  # 本例驱动与爬虫程序在同一路																																											径

driver.close()：关闭当前页面
driver.quit()：退出整个浏览器