从入门到精通解析Python Selenium如何模拟浏览器操作

# 安装最新版Selenium
pip install selenium

# 导入Selenium核心模块
from selenium import webdriver
from selenium.webdriver.chrome.service import Service

# 手动指定ChromeDriver路径
driver_path = "C:/chromedriver.exe"  # Windows路径示例
# 初始化浏览器对象
driver = webdriver.Chrome(service=Service(driver_path))
# 打开测试网页
driver.get("https://www.baidu.com")
# 打印网页标题（输出“百度一下，你就知道”则环境正常）
print(driver.title)
# 关闭浏览器
driver.quit()

import time
# 强制等待3秒（无论元素是否加载完成）
time.sleep(3)

# 设置隐式等待：最长等待10秒，元素加载完成则立即执行
driver.implicitly_wait(10)

from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By

# 等待“百度搜索框”可见，最长等待10秒
wait = WebDriverWait(driver, 10)
search_box = wait.until(
    EC.visibility_of_element_located((By.ID, "kw"))
)

# 绝对路径（不推荐，页面结构变化易失效）
driver.find_element(By.XPATH, "/html/body/div[1]/div[2]/input")
# 相对路径+属性（推荐）
driver.find_element(By.XPATH, '//input[@id="kw"]')
# 包含文本的元素
driver.find_element(By.XPATH, '//a[contains(text(), "百度首页")]')
# 父节点定位子节点
driver.find_element(By.XPATH, '//div[@class="s_form"]/input')

# ID选择器
driver.find_element(By.CSS_SELECTOR, "#kw")
# Class选择器
driver.find_element(By.CSS_SELECTOR, ".s_ipt")
# 属性选择器
driver.find_element(By.CSS_SELECTOR, 'input[name="wd"]')
# 层级选择器
driver.find_element(By.CSS_SELECTOR, "div.s_form > input")

# 获取页面所有超链接
links = driver.find_elements(By.TAG_NAME, "a")
for link in links:
    print(link.get_attribute("href"))  # 打印链接地址

# 定位搜索框并输入内容
search_box = driver.find_element(By.ID, "kw")
search_box.send_keys("Selenium教程")  # 输入文本
search_box.clear()  # 清空输入框
search_box.send_keys("Python爬虫")  # 重新输入

# 点击搜索按钮
search_btn = driver.find_element(By.ID, "su")
search_btn.click()

# 模拟回车键（替代点击按钮）
search_box.send_keys(Keys.ENTER)

from selenium.webdriver.common.keys import Keys

# 方式1：模拟键盘向下滚动（PageDown）
driver.find_element(By.TAG_NAME, "body").send_keys(Keys.PAGE_DOWN)

# 方式2：JS脚本滚动（精准控制）
# 滚动到页面底部
driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
# 滚动到指定元素位置
target = driver.find_element(By.ID, "target_id")
driver.execute_script("arguments[0].scrollIntoView();", target)

# 等待弹窗出现
alert = WebDriverWait(driver, 10).until(EC.alert_is_present())
# 获取弹窗文本
print(alert.text)
# 确认弹窗
alert.accept()
# 取消弹窗（仅confirm弹窗可用）
# alert.dismiss()

# 方式1：通过ID切换
driver.switch_to.frame("iframe_id")
# 方式2：通过元素定位切换
iframe = driver.find_element(By.XPATH, '//iframe[@name="iframe_name"]')
driver.switch_to.frame(iframe)

# 操作iframe内元素
driver.find_element(By.ID, "inner_btn").click()

# 切回主页面
driver.switch_to.default_content()

from selenium.webdriver.support.ui import Select

# 定位下拉框
select = Select(driver.find_element(By.ID, "select_id"))
# 方式1：按索引选择（从0开始）
select.select_by_index(1)
# 方式2：按值选择（option的value属性）
select.select_by_value("option_value")
# 方式3：按文本选择
select.select_by_visible_text("选项文本")

# 获取所有选项
options = select.options
for option in options:
    print(option.text)

from selenium.webdriver.chrome.options import Options

# 创建Chrome配置对象
chrome_options = Options()
# 开启无界面模式
chrome_options.add_argument("--headless=new")
# 禁用GPU（避免无界面模式报错）
chrome_options.add_argument("--disable-gpu")

# 初始化浏览器（带配置）
driver = webdriver.Chrome(
    service=Service(driver_path),
    options=chrome_options
)

# 禁用自动化提示（去除“Chrome正受到自动测试软件控制”）
chrome_options.add_experimental_option("excludeSwitches", ["enable-automation"])
chrome_options.add_experimental_option('useAutomationExtension', False)
# 禁用Blink运行时功能
chrome_options.add_argument("--disable-blink-features=AutomationControlled")
# 设置用户代理（UA）
chrome_options.add_argument("user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36")
# 移除webdriver属性（关键反爬）
driver.execute_script("Object.defineProperty(navigator, 'webdriver', {get: () => undefined})")

# 打开新标签页
driver.execute_script("window.open('https://www.taobao.com')")
# 获取所有标签页句柄
windows = driver.window_handles
# 切换到第二个标签页
driver.switch_to.window(windows[1])
# 关闭当前标签页
driver.close()
# 切回第一个标签页
driver.switch_to.window(windows[0])

# 页面全屏截图
driver.save_screenshot("page.png")
# 元素截图
element = driver.find_element(By.ID, "kw")
element.screenshot("element.png")

# 查看浏览器日志（排查错误）
logs = driver.get_log("browser")
for log in logs:
    print(log)

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time

# 配置驱动路径
driver_path = "C:/chromedriver.exe"
# 初始化浏览器
driver = webdriver.Chrome(service=Service(driver_path))
driver.maximize_window()
driver.implicitly_wait(10)

try:
    # 打开商品列表页
    driver.get("https://xxx.com/goods-list")
    
    # 滚动页面加载更多商品（模拟翻页）
    for i in range(3):  # 滚动3次
        # 滚动到页面底部
        driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
        time.sleep(2)  # 等待数据加载
    
    # 定位所有商品元素
    goods_list = WebDriverWait(driver, 10).until(
        EC.presence_of_all_elements_located((By.CLASS_NAME, "goods-item"))
    )
    
    # 解析商品信息
    for goods in goods_list:
        # 商品名称
        name = goods.find_element(By.CLASS_NAME, "goods-name").text
        # 商品价格
        price = goods.find_element(By.CLASS_NAME, "goods-price").text
        # 商品销量
        sales = goods.find_element(By.CLASS_NAME, "goods-sales").text
        
        print(f"名称：{name}，价格：{price}，销量：{sales}")

finally:
    # 关闭浏览器
    driver.quit()