python 重定向获取真实url的方法
更新时间：2018年05月11日 09:34:39 作者：野沐沐
今天小编就为大家分享一篇python 重定向获取真实url的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
楼主在做公司项目的时候遇到url重定向的问题，因此上网简单查找，作出如下结果
由于使用的是语言是python所以以下是python的简单解决方案
http_headers = { 'Accept': '*/*','Connection': 'keep-alive', 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.116 Safari/537.36'}
def get_real_url(url):
rs = requests.get(url,headers=http_headers,timeout=10)
rs.url
以上代码未有重试机制，下面加上重试机制加以完善
def get_real_url(url,try_count = 1): if try_count > 3: return url try: rs = requests.get(url,headers=http_headers,timeout=10) if rs.status_code > 400: return get_real_url(url,try_count+1) return rs.url except: return get_real_url(url, try_count + 1)
以上这篇python 重定向获取真实url的方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
本文主要介绍了Python3多线程处理爬虫的实战，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2023-03-03
Python拆分Excel工作簿或工作表为多个文件的高效方法
在日常工作中,我们经常需要处理包含大量数据的Excel文件,为了提高效率和准确性,我们可以将一个Excel文件或其中某一个工作表按需求拆分为多个文件,本文将提供以下两个示例介绍如何通过Python高效地拆分Excel工作簿或工作表,需要的朋友可以参考下2024-12-12
这篇文章主要介绍了基于Python实现的百度贴吧网络爬虫,实例分析了Python实现网络爬虫的相关技巧,非常具有实用价值,需要的朋友可以参考下2015-04-04
使用强大的Pandas库处理数据中的缺失值是迈向数据清洗高手的第一步,本文主要介绍了pandas处理缺失值的10种策略,具有一定的参考价值,感兴趣的可以了解一下2024-05-05
这篇文章主要介绍了Python复数属性和方法运算操作,结合实例形式分析了Python复数运算相关操作技巧,代码注释备有详尽说明,需要的朋友可以参考下2017-07-07
这篇文章主要介绍了python多进程（加入进程池）操作,结合常见案例形式分析了Python多进程复制文件、加入进程池及多进程聊天等相关操作技巧,需要的朋友可以参考下2019-10-10
这篇文章主要介绍了Python-jenkins模块获取jobs的执行状态操作，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-05-05
这篇文章主要给大家介绍了关于python实现杨辉三角的3种方法,分别是迭代、生成器和递归的相关资料,杨辉三角形的规则就是每行的第一个数字和最后一个数字为1之外,其余每个数字等于上一行对应两个数字的和,需要的朋友可以参考下2023-11-11
今天小编就为大家分享一篇浅谈Pycharm最有必要改的几个默认设置项，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-02-02
这篇文章主要介绍了Keras保存模型并载入模型继续训练的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2021-02-02
最新评论