使用python爬虫实现子域名探测问题

更新时间：2022年07月07日 09:00:53 作者：微雨停了

子域名枚举是为一个或多个域查找子域的过程，它是信息收集阶段的重要组成部分，这篇文章主要介绍了使用python实现子域名探测,需要的朋友可以参考下

前言

意义：子域名枚举是为一个或多个域查找子域的过程，它是信息收集阶段的重要组成部分。
实现方法：使用爬虫与字典爆破。

一、爬虫

1.ip138

def search_2(domain):
    res_list = []
    headers = {
        'Accept': '*/*',
        'Accept-Language': 'en-US,en;q=0.8',
        'Cache-Control': 'max-age=0',
        'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.116 Safari/537.36',
        'Connection': 'keep-alive',
        'Referer': 'http://www.baidu.com/'
    }
    results = requests.get('https://site.ip138.com/' + domain + '/domain.htm', headers=headers)
    soup = BeautifulSoup(results.content, 'html.parser')
    job_bt = soup.findAll('p')

    try:
        for i in job_bt:
            link = i.a.get('href')
            linkk = link[1:-1]
            res_list.append(linkk)
            print(linkk)
    except:
        pass
    print(res_list[:-1])
if __name__ == '__main__':
    search_2("jd.com")

返回结果：

在这里插入图片描述

2.bing

def search_1(site):
    Subdomain = []
    headers = {
        'Accept': '*/*',
        'Accept-Language': 'en-US,en;q=0.8',
        'Cache-Control': 'max-age=0',
        'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.116 Safari/537.36',
        'Connection': 'keep-alive',
        'Referer': 'http://www.baidu.com/'
    }
    for i in range(1, 16):
        url = "https://cn.bing.com/search?q=site%3A" + site + "&go=Search&qs=ds&first=" + str(
            (int(i) - 1) * 10) + "&FORM=PERE"
        # conn = requests.session()
        # conn.get('http://cn.bing.com', headers=headers)
        # html = conn.get(url, stream=True, headers=headers)
        html = requests.get(url, stream=True, headers=headers)
        soup = BeautifulSoup(html.content, 'html.parser')
        # print(soup)
        job_bt = soup.findAll('h2')
        for i in job_bt:
            link = i.a.get('href')
            print(link)
            if link in Subdomain:
                pass
            else:
                Subdomain.append(link)
    print(Subdomain)
if __name__ == '__main__':
    search_1("jd.com")

返回结果：

在这里插入图片描述

二、通过字典进行子域名爆破

def dict(url):
    for dict in open('dic.txt'):  # 这里用到子域名字典文件dic.txt
        dict = dict.replace('\n', "")
        zym_url = dict + "." + url
        try:
            ip = socket.gethostbyname(zym_url)
            print(zym_url + "-->" + ip)
            time.sleep(0.1)
        except Exception as e:
            # print(zym_url + "-->" + ip + "--error")
            time.sleep(0.1)
if __name__ == '__main__':
    dict("jd.com")

返回结果：

在这里插入图片描述

三、python爬虫操作步骤

1.写出请求头headers与目标网站url

headers = {
        'User-Agent': "Mozilla/5.0 (Windows NT 10.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/42.0.2311.135 Safari/537.36 Edge/12.10240"
    }
url = "https://site.ip138.com/"

2.生成请求

get：res = requests.get(url + domain, headers=headers)
post：res = requests.post(url + domain, headers=headers, data=data)

3.抓取数据

soup = BeautifulSoup(res.content, 'html.parser')  # 以html解析器解析res的内容

此时print(soup)，返回结果：

在这里插入图片描述

4.分析源码，截取标签中内容

1.通过分析源码，确定需要提取p标签中的内容：

job_bt = soup.findAll('p')

此时print(job_bt)，返回结果：

在这里插入图片描述

2.继续提取a标签内属性为href的值：

try:
    for i in job_bt:
        link = i.a.get('href')
        linkk = link[1:-1]
        res_list.append(linkk)
        print(linkk)
except:
    pass

得结果：

在这里插入图片描述

3.再进行截取：

res_list[:-1]

得结果：

在这里插入图片描述

四、爬虫一些总结

1.抓取数据，生成soup

soup = BeautifulSoup(res.content, 'html.parser')  # 以html解析器解析res的内容

2.从文档中获取所有文字内容

print(soup.get_text())

3.从文档中找到所有< a >标签的链接

for link in soup.find_all('a'):
    print(link.get('href'))

到此这篇关于使用python实现子域名探测的文章就介绍到这了,更多相关python子域名内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

Python的进程,线程和协程实例详解
这篇文章主要为大家详细介绍了Python进程,线程和协程，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下，希望能够给你带来帮助
2022-03-03
详解如何用TensorFlow训练和识别/分类自定义图片
这篇文章主要介绍了详解如何用TensorFlow训练和识别/分类自定义图片，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2019-08-08
Python实现火柴人的设计与实现
火柴人（Stick Figure）是一种极简风格的图形,通常由简单的线段和圆圈组成,却能生动地表达人物的姿态和动作,本文旨在介绍如何使用Python实现火柴人的设计与绘制,通过编程的方式,让读者了解火柴人背后的基本原理和实现方法,需要的朋友可以参考下
2024-10-10
Python将MP4视频转换为GIF图像的三种方法
在数字时代,将视频转换为GIF图像已成为一种流行的内容创作方式,在Python中,有多种库可以帮助你将MP4视频转换为GIF图像,本文将介绍三种常用的方法：使用moviepy库、imageio库以及结合opencv和PIL库,需要的朋友可以参考下
2024-12-12
解决jupyter notebook显示不全出现框框或者乱码问题
这篇文章主要介绍了解决jupyter notebook显示不全出现框框或者乱码问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2020-04-04
Django单元测试的具体使用
Django提供了一套强大的测试工具来帮助开发者编写和运行单元测试,本文就来介绍一下Django中的单元测试,包括测试原理、编写测试用例和运行测试,感兴趣的可以了解一下
2023-11-11
python dlib人脸识别代码实例
这篇文章主要介绍了python dlib人脸识别，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2019-04-04
Python反射的用法实例分析
这篇文章主要介绍了Python反射的用法,结合实例形式分析了Python反射机制所涉及的几个常用方法与相关使用技巧,需要的朋友可以参考下
2018-02-02
使用python构建WebSocket客户端的教程详解
WebSocket是一种在客户端和服务器之间实现双向通信的协议,常用于实时聊天、实时数据更新等场景,Python提供了许多库来实现 WebSocket客户端,本教程将介绍如何使用Python构建WebSocket客户端,文中通过代码示例给大家介绍的非常详细,需要的朋友可以参考下
2023-12-12
Pyqt助手安装PyQt5帮助文档过程图解
这篇文章主要介绍了Pyqt助手安装PyQt5帮助文档过程图解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
2020-11-11