python 简单的股票基金爬虫

# 通过这个方法就能获取代理
def get_proxy():
    return requests.get("http://127.0.0.1:5010/get/").json()

# 获取所有基金代码
fund_code_list = get_fund_code()
fund_len = len(fund_code_list)

# 创建一个队列
fund_code_queue = queue.Queue(fund_len)
# 写入基金代码数据到队列
for i in range(fund_len):
    # fund_code_list[i]也是list类型，其中该list中的第0个元素存放基金代码
    fund_code_queue.put(fund_code_list[i][0])

# 获取所有基金代码
def get_fund_code():
    ...

    # 访问网页接口
    req = requests.get("http://fund.eastmoney.com/js/fundcode_search.js",
                    timeout=5,
                    headers=header)

    # 解析出基金代码存入list中
    ...

    return fund_code_list

# 当队列不为空时
while not fund_code_queue.empty():

    # 从队列读取一个基金代码
    # 读取是阻塞操作
    fund_code = fund_code_queue.get()

    ...

    try:
        # 使用该基金代码进行基金详情和股票持仓请求
        ...

# 使用代理访问
req = requests.get(
    "http://fundgz.1234567.com.cn/js/" + str(fund_code) + ".js",
    proxies={"http": "http://{}".format(proxy)},
    timeout=3,
    headers=header,
)
# 解析返回数据
...

# 获取股票投资明细
req = requests.get(
    "http://fundf10.eastmoney.com/FundArchivesDatas.aspx?type=jjcc&code="
    + str(fund_code) + "&topline=10&year=2021&month=3",
    proxies={"http": "http://{}".format(proxy)},
    timeout=3,
    headers=header,
)
# 解析返回数据
...

# 初始化数据库连接:
engine = create_engine(
'postgresql+psycopg2://username:password@ip:5433/dbname')

with get_session() as s:
    # create fund
    ...

    if (create):
        s.add(fund)

    s.commit()

# 在一定范围内，线程数越多，速度越快
for i in range(50):
    t = threading.Thread(target=get_fund_data, name="LoopThread" + str(i))
    t.start()