Python实现抖音热搜定时爬取功能
更新时间：2022年03月15日 15:05:28 作者：Python丁小杰
这篇文章主要为大家介绍了利用Python制作的一个新摸鱼神器，可以实现抖音热搜定时爬取。文中的实现步骤讲解详细，感兴趣的可以试一试
大家好，我是丁小杰。
上次和大家分享了Python定时爬取微博热搜示例介绍，堪称摸鱼神器，一个热榜不够看？今天我们再来爬取一下抖音热搜榜，感兴趣的小伙伴可以自己动手尝试一下哦。
抖音热搜榜
链接：https://tophub.today/n/K7GdaMgdQy
整个热榜共50条数据，本次爬取的内容：排名、热度、标题、链接。
requests 爬取
requests 是一种非常简单的方法，由于该页面没有反爬措施，所以直接get 请求页面即可。
import requests
import pandas as pd
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.54 Safari/537.36'
}
url = 'https://tophub.today/n/K7GdaMgdQy'
page_text = requests.get(url=url, headers=headers).text
page_text
可以看到，只需要几行代码，数据就很轻松地获取到了。
selenium 爬取
将selenium设置为无头浏览器，打开指定url获取页面数据。
from selenium import webdriver
option = webdriver.ChromeOptions()
option.add_argument('--headless')
driver = webdriver.Chrome(options=option)
url = 'https://tophub.today/n/K7GdaMgdQy'
driver.get(url)
page_text = driver.page_source
两种爬取方法都能够成功获取到数据，但requests相对简洁，整个代码运行速度也更快，如果页面数据不是动态加载的话，用requests相对方便。
数据解析
现在用lxml库解析我们爬取的数据，并保存到excel中。
tree = etree.HTML(page_text)
tr_list = tree.xpath(
'//*[@id="page"]/div[2]/div[2]/div[1]/div[2]/div/div[1]/table/tbody/tr')
df = pd.DataFrame(columns=['排名', '热度', '标题', '链接'])
for index, tr in enumerate(tr_list):
hot = tr.xpath('./td[3]/text()')[0]
title = tr.xpath('./td[2]/a/text()')[0]
article_url = tr.xpath('./td[2]/a/@href')[0]
df = df.append({
'排名': index + 1,
'热度': hot,
'标题': title,
'链接': article_url}, ignore_index=True)
df['链接'] = 'https://tophub.today' + df['链接']
df
运行结果
设置定时运行
至此，爬取代码已经完成，想要实现每小时自动运行代码，可以使用任务计划程序。
打开任务计划程序，【创建任务】
输入名称，名称随便起就好。
选择【触发器】>>【新建】>>【设置触发时间】
选择【操作】>>【新建】>>【选择程序】
最后确认即可。到时间就会自动运行，或者右键任务手动运行。
这就是今天要分享的内容，整体难度不大，希望大家能够有所收获，文章中的代码拼接起来就可以运行！
以上就是Python实现抖音热搜定时爬取功能的详细内容，更多关于Python抖音热搜爬取的资料请关注脚本之家其它相关文章！
相关文章
python的装饰器本质上是一个Python函数，它可以让其他函数在不需要做任何代码变动的前提下增加额外功能；装饰器的返回值也是一个函数对象。简单的说装饰器就是一个用来返回函数的函数2021-05-05
这篇文章主要介绍了Python实现OpenCV的安装与使用,结合实例形式分析了Python中OpenCV的安装及针对图片的相关操作技巧,需要的朋友可以参考下2018-03-03
这篇文章主要介绍了六个窍门助你提高Python运行效率,本文讲解了关键代码使用外部功能包、在排序时使用键、针对循环的优化、使用较新的Python版本等优化窍门,需要的朋友可以参考下2015-06-06
Base64 就是一种基于64个可打印字符来表示二进制数据的方法，这篇文章主要介绍了Python Base64编码和解码,需要的朋友可以参考下2022-12-12
在本篇文章里小编给大家整理了一篇关于python中的对数log函数表示及用法，有需要的朋友们可以学习下。2020-12-12
这篇文章主要介绍了Python实现一个论文下载器的过程,本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2021-01-01
随机漫步生成是无规则的，是系统自行选择的结果。接下来通过本文给大家介绍Python实现随机漫步功能，感兴趣的朋友跟随脚本之家小编一起看看吧2018-07-07
这篇文章主要为大家介绍了1行Python代码实现去除图片水印详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2023-03-03
这篇文章主要介绍了浅谈pytorch中的BN层的注意事项，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-06-06
这篇文章主要介绍了pytorch深度学习中对softmax实现进行了详细解析，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步2021-09-09
最新评论