Python去除HTML标签获取纯文本的四种方法

from bs4 import BeautifulSoup

html = "<p>Hello <b>World</b>! <a href='#'>Click</a></p>"
soup = BeautifulSoup(html, 'html.parser')
text = soup.get_text()
print(text)  # Hello World! Click

import re

html = "<p>Hello <b>World</b>! <a href='#'>Click</a></p>"
text = re.sub(r'<[^>]+>', '', html)
print(text)  # Hello World! Click

from html.parser import HTMLParser

class MyHTMLParser(HTMLParser):
    def __init__(self):
        super().__init__()
        self.text = []
    
    def handle_data(self, data):
        self.text.append(data)
    
    def get_text(self):
        return ''.join(self.text)

html = "<p>Hello <b>World</b>!</p>"
parser = MyHTMLParser()
parser.feed(html)
print(parser.get_text())  # Hello World!

from lxml import html

html_str = "<p>Hello <b>World</b>!</p>"
tree = html.fromstring(html_str)
text = tree.text_content()
print(text)  # Hello World!

pip install beautifulsoup4 lxml

from bs4 import BeautifulSoup
html_content = """
<div class="article">
    <h1>这是标题</h1>
    <p>这是正文内容，包含 <strong>加粗文字</strong>。</p>
    <a href="https://example.com" rel="external nofollow" >这是一个链接</a>
</div>
"""
# 使用 lxml 作为解析器以获得更佳性能
soup = BeautifulSoup(html_content, 'lxml')
# 核心方法：.get_text() 提取所有文本，strip=True 用于去除首尾空白
text = soup.get_text(strip=True)
print(text)
# 输出：这是标题这是正文内容，包含加粗文字。这是一个链接

# 只提取 <div> 标签内的内容
div_tag = soup.find('div', class_='article')
content = div_tag.get_text(strip=True)

from lxml import html
html_content = """
<div class="product">
    <h2>产品名称</h2>
    <p class="price">价格：$99.99</p>
    <p>产品描述...</p>
</div>
"""
tree = html.fromstring(html_content)
# 使用 XPath 定位并提取文本
# 'text()' 是获取元素自身文本的XPath函数
title = tree.xpath('//div[@class="product"]/h2/text()')[0]
price_text = tree.xpath('//p[@class="price"]/text()')[0]
print(title)        # 输出：产品名称
print(price_text)   # 输出：价格：$99.99

soup = BeautifulSoup(html_content, 'lxml')

import re
html_content = '<div>文本内容</div><span>更多文本</span>'
# re.sub将匹配到的所有标签替换为空字符串
pure_text = re.sub(r'<[^>]+>', '', html_content)
print(pure_text) # 输出：文本内容更多文本

import html2text
converter = html2text.HTML2Text()
# 可选配置，例如忽略链接
converter.ignore_links = True
html = '<h1>大标题</h1><p>这是一个包含<a href="#" rel="external nofollow" >链接</a>的段落。</p>'
markdown_text = converter.handle(html)
print(markdown_text)
# 输出：
# 大标题
# ===
# 这是一个包含链接的段落。