python利用Selenium搭建免费Web搜索API服务的方法

import datetime
from tqdm import tqdm
import os
import time
import json
import re
from selenium import webdriver
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.options import Options
import urllib.parse
from flask import Flask, jsonify, request
from flask_cors import CORS
import traceback

app = Flask(__name__)
CORS(app)  # 允许跨域请求

# 设置Chrome选项
chrome_options = Options()
chrome_options.add_argument('--headless')  # 无头模式，可选
chrome_options.add_argument('--disable-gpu')  # 禁用GPU加速
chrome_options.add_argument('--no-sandbox')
chrome_options.add_argument('--enable-features=AllowSoftwareGLFallbackDueToCrashes,AllowSwiftShaderFallback')
chrome_options.add_argument('--enable-unsafe-swiftshader')
chrome_options.add_argument('--disable-dev-shm-usage')
chrome_options.add_argument('--disable-blink-features=AutomationControlled')
chrome_options.add_experimental_option("excludeSwitches", ["enable-automation"])
chrome_options.add_experimental_option('useAutomationExtension', False)
chrome_options.add_argument('--user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36')
chrome_options.add_argument('--disable-extensions')  # 禁用扩展
chrome_options.add_argument('--disable-infobars')  # 禁用信息栏
prefs = {
    'profile.managed_default_content_settings.images': 2,  # 2 表示禁止加载图片
}
chrome_options.add_experimental_option('prefs', prefs)

def get_result(wait,driver):    
    combined_texts=[]
    combined_text=""
    # Bing的搜索结果放在iframe中，需要切换进去
    driver.switch_to.default_content()
    iframes = driver.find_elements(By.TAG_NAME, "iframe")
    try:
        for i,iframe in enumerate(iframes):
            src=iframe.get_attribute('src')
            if src.startswith("https://www.bing.com/search"):
                driver.switch_to.frame(iframe)
                wait.until(EC.presence_of_all_elements_located((By.XPATH, "//div[contains(@class, 'answer_container')]")))
                answer_elements = driver.find_elements(By.XPATH, "//div[contains(@class, 'answer_container')]")
                if answer_elements:
                    for element in answer_elements:
                        span_elements = element.find_elements(By.TAG_NAME, "span")                    
                        if span_elements:
                            span_texts = [span.text for span in span_elements if span.text.strip()]
                            combined_text = '\n'.join(span_texts)
                            combined_texts.append(combined_text)
                combined_text="\n".join(combined_texts).replace("查看所有链接","")
    except:
        pass
    return combined_text

def search_impl(key_world = "介绍一下中国的首都"):
    driver = webdriver.Chrome(options=chrome_options)    
    wait = WebDriverWait(driver,5)
    key_world_url_encoded = urllib.parse.quote(key_world)
    url = f"https://www.bing.com/copilotsearch?q={key_world_url_encoded}"
    t0=time.time()
    driver.delete_all_cookies()
    driver.get(url)
    for i in range(30):
        combined_text = get_result(wait,driver)
        print(len(combined_text))
        if len(combined_text)>4:
            break
        time.sleep(1)
    t1=time.time()
    output_data = {
        "success":True,
        "message":combined_text,
        "query": key_world,
        "duration": t1-t0,
        "url": driver.current_url,
        "page_title": driver.title
    }
    driver.quit()
    return output_data

@app.route("/search", methods=["POST"])
def search():
    try:
        data = request.get_json()
        if not data:
            return jsonify({"success": False, "message": "params invalid"}), 400
        key_world = data.get("query") 
        body=search_impl(key_world)
        return jsonify(body), 200
    except Exception as e:
        traceback.print_exc()
        return jsonify({"success": False, "message": f"服务器内部错误: {str(e)}"}), 500

if __name__ == "__main__":
    app.run(host="0.0.0.0", port=5000, debug=True)

import requests
import json

def send_search_request(query, timeout=30):
    """
    发送搜索请求
    
    Args:
        query: 查询字符串
        timeout: 超时时间（秒）
    
    Returns:
        响应结果或错误信息
    """
    url = "http://localhost:5000/search"
    
    try:
        response = requests.post(
            url,
            json={"query": query},
            headers={"Content-Type": "application/json"},
            timeout=timeout
        )
        response.raise_for_status()  # 如果状态码不是200，抛出异常
        # 尝试解析JSON响应
        try:
            return response.json()
        except json.JSONDecodeError:
            return {"text": response.text, "status_code": response.status_code}
            
    except requests.exceptions.Timeout:
        return {"error": "请求超时"}
    except requests.exceptions.ConnectionError:
        return {"error": "连接失败，请检查服务是否启动"}
    except requests.exceptions.RequestException as e:
        return {"error": f"请求异常: {str(e)}"}

# 使用示例
if __name__ == "__main__":
    result = send_search_request("获取最新的AI咨询")
    print(json.dumps(result, indent=2, ensure_ascii=False))

python server.py

 * Serving Flask app 'server'
 * Debug mode: on
 * Running on all addresses (0.0.0.0)
 * Running on http://127.0.0.1:5000
 * Running on http://[你的IP地址]:5000

python client.py

{
  "duration": 4.231590747833252,
  "message": "。GPT Image 1.5 在图像生成中实现详细特征保留与光线精准渲染\n。GPT\nImage\n1.5\n在图像生成中实现详细特征保留与光线精准渲染\n。\nAnthropic Claude系列：发布Claude Opus 4.6与Claude Cowork，支持百万token上下文、代码编译及零日漏洞自发现能力\nAnthropic\nClaude系列\n：发布Claude\nOpus\n4.6与Claude\nCowork，支持百万token上下文、代码编译及零日漏洞自发现能力\n。\n通义千问 Qwen 系列：开源 Qwen3-TTS、Qwen3-Coder-Next、Qwen3-VL-Embedding，覆盖语音生成、编程与多模态检索场景\n通义千问\nQwen\n系列\n：开源\nQwen3-TTS、Qwen3-Coder-Next、Qwen3-VL-Embedding，覆盖语音生成、编程与多模态检索场景\n。\n多模态与视频AI：可灵AI 3.0和2.6版本实现音画同步、自动分镜控制，PixVerse V5.5可在几秒内生成导演级多镜头短片\n多模态与视频AI\n：可灵AI\n3.0和2.6版本实现音画同步、自动分镜控制，PixVerse\nV5.5可在几秒内生成导演级多镜头短片\n。美团LongCat系列与Vidi2显著提升视频编辑和理解能力\n。美团LongCat系列与Vidi2显著提升视频编辑和理解能力\n。\n端侧与嵌入式AI：MiniMax、智谱GLM系列、阿里通义Fun-Audio-Chat、腾讯混元3D Studio 支持本地计算，提升端侧推理效率，支持音乐、语音、文本、图像等多模态任务\n端侧与嵌入式AI\n：MiniMax、智谱GLM系列、阿里通义Fun-Audio-Chat、腾讯混元3D\nStudio\n支持本地计算，提升端侧推理效率，支持音乐、语音、文本、图像等多模态任务\n。\n行业企业与融资动态\n港股上市与融资：MiniMax、智谱AI纷纷启动或完成港股IPO，融资数额达数十亿港元，推动全球化布局与算力扩展\n港股上市与融资\n：MiniMax、智谱AI纷纷启动或完成港股IPO，融资数额达数十亿港元，推动全球化布局与算力扩展\n。\nAI创业与投资：xAI完成200亿美元E轮融资，Meta、迪士尼、亚马逊、英伟达等加码投入AI应用及硬件\nAI创业与投资\n：xAI完成200亿美元E轮融资，Meta、迪士尼、亚马逊、英伟达等加码投入AI应用及硬件\n。国内新型AI公司如DeepWisdom、Vidu、Kimi、Luma AI、RockFlow等也完成战略融资\n。国内新型AI公司如DeepWisdom、Vidu、Kimi、Luma\nAI、RockFlow等也完成战略融资\n。\n开源社区发展：面壁智能、Mistral AI、阿里Qwen、谷歌Gemini 3 Flash等项目开源，推动算法、模型和工具的全民可用性\n开源社区发展\n：面壁智能、Mistral\nAI、阿里Qwen、谷歌Gemini\n3\nFlash等项目开源，推动算法、模型和工具的全民可用性\n。\nAI应用趋势\n办公与生产力：AgentOS、扣子2.0、MiniMax Agent 2.0、ChatExcel等智能体平台，实现办公自动化、代码协作和科研辅助\n办公与生产力\n：AgentOS、扣子2.0、MiniMax\nAgent\n2.0、ChatExcel等智能体平台，实现办公自动化、代码协作和科研辅助\n。\n多模态交互与智能助手：蚂蚁“灵光”、京东AI购、Meta WorldGen、OpenAI购物研究等，推动AI在现实生活场景的便利化应用\n多模态交互与智能助手\n：蚂蚁“灵光”、京东AI购、Meta\nWorldGen、OpenAI购物研究等，推动AI在现实生活场景的便利化应用\n。\n个性化与自动化生成：AI视频、音乐、图像、3D内容生成实现自动化与定制化生产，支持多语言、角色扮演及场景复现\n个性化与自动化生成\n：AI视频、音乐、图像、3D内容生成实现自动化与定制化生产，支持多语言、角色扮演及场景复现\n。\n推荐获取平台\nAI工具集：实时更新产业新闻、融资动态、产品发布，覆盖多模态、智能体及工具类AI应用\nAI工具集\n：实时更新产业新闻、融资动态、产品发布，覆盖多模态、智能体及工具类AI应用\n。\nAIbase.cn：每日AI日报、热点资讯及产品数据库，内容专业全面\nAIbase.cn\n：每日AI日报、热点资讯及产品数据库，内容专业全面\n。\nAI日报：每天3分钟掌握最新AI模型、行业动态及前沿技术\nAI日报\n：每天3分钟掌握最新AI模型、行业动态及前沿技术\n。\n用户可根据兴趣选择平台，结合社群或订阅功能获取\n实时资讯与深度分析\n。这些平台适用于技术研究、行业分析、投资决策及产品应用探索。",
  "page_title": "获取最新的AI咨询",
  "query": "获取最新的AI咨询",
  "success": true,
  "url": "https://www.bing.com/copilotsearch?q=%E8%8E%B7%E5%8F%96%E6%9C%80%E6%96%B0%E7%9A%84AI%E5%92%A8%E8%AF%A2"
}

from langchain.tools import Tool

def search_tool(query: str) -> str:
    """调用我们的本地搜索服务"""
    result = send_search_request(query)
    if result.get("success"):
        return result.get("message", "未找到相关信息")
    return f"搜索失败: {result.get('error', '未知错误')}"

# 创建工具实例
search_tool_instance = Tool(
    name="Web搜索",
    func=search_tool,
    description="用于搜索最新的网络信息"
)

# 将工具添加到你的AI智能体中