使用BeautifulSoup和Pandas进行网页数据抓取与清洗处理

pip install requests beautifulsoup4 pandas

import requests
from bs4 import BeautifulSoup
 
# 目标网页URL
url = 'https://example.com/news'  # 替换为实际的URL
 
# 发送HTTP请求获取网页内容
response = requests.get(url)
response.raise_for_status()  # 检查请求是否成功
 
# 使用Beautiful Soup解析HTML
soup = BeautifulSoup(response.text, 'html.parser')

# 提取新闻标题、发布时间和正文内容
articles = []
for article in soup.select('.news-article'):  # 假设新闻文章都有class="news-article"
    title = article.select_one('h2.title').text.strip()
    publish_time = article.select_one('.publish-time').text.strip()
    content = article.select_one('.content').text.strip()
    articles.append({
        'title': title,
        'publish_time': publish_time,
        'content': content
    })

import pandas as pd
 
# 将数据转换为DataFrame
df = pd.DataFrame(articles)
 
# 打印前几行数据查看
print(df.head())
 
# 数据清洗步骤
# 1. 去除字符串前后的空格（已在提取时处理）
# 2. 替换特殊字符（例如换行符为空格）
df['content'] = df['content'].str.replace('\n', ' ')
 
# 3. 删除缺失值或无效数据（假设空标题或空内容的数据无效）
df = df.dropna(subset=['title', 'content'])
 
# 4. 统一时间格式（假设发布时间为"YYYY-MM-DD HH:MM:SS"格式）
# 这里我们假设发布时间已经是字符串格式，且格式统一，如果需要转换格式，可以使用pd.to_datetime()
# df['publish_time'] = pd.to_datetime(df['publish_time'], format='%Y-%m-%d %H:%M:%S')
 
# 打印清洗后的数据查看
print(df.head())

# 数据处理步骤
# 1. 提取发布日期的日期部分（如果需要）
# df['publish_date'] = df['publish_time'].dt.date
 
# 2. 统计每个发布日期的新闻数量（如果需要）
# daily_counts = df['publish_date'].value_counts().reset_index()
# daily_counts.columns = ['publish_date', 'count']
# print(daily_counts)
 
# 3. 根据关键词过滤新闻（例如只保留包含"疫情"关键词的新闻）
keyword = '疫情'
filtered_df = df[df['content'].str.contains(keyword, na=False, case=False)]
 
# 打印过滤后的数据查看
print(filtered_df.head())

# 保存数据为CSV文件
csv_file_path = 'cleaned_news_data.csv'
df.to_csv(csv_file_path, index=False, encoding='utf-8-sig')
 
# 保存数据为Excel文件
excel_file_path = 'cleaned_news_data.xlsx'
df.to_excel(excel_file_path, index=False, engine='openpyxl')

import requests
from bs4 import BeautifulSoup
import pandas as pd
 
# 目标网页URL（请替换为实际的URL）
url = 'https://example.com/news'
 
# 发送HTTP请求获取网页内容
response = requests.get(url)
response.raise_for_status()
 
# 使用Beautiful Soup解析HTML
soup = BeautifulSoup(response.text, 'html.parser')
 
# 提取新闻标题、发布时间和正文内容
articles = []
for article in soup.select('.news-article'):  # 假设新闻文章都有class="news-article"
    title = article.select_one('h2.title').text.strip()
    publish_time = article.select_one('.publish-time').text.strip()
    content = article.select_one('.content').text.strip()
    articles.append({
        'title': title,
        'publish_time': publish_time,
        'content': content
    })
 
# 将数据转换为DataFrame
df = pd.DataFrame(articles)
 
# 数据清洗步骤
df['content'] = df['content'].str.replace('\n', ' ')
df = df.dropna(subset=['title', 'content'])
 
# 数据处理步骤（示例：根据关键词过滤新闻）
keyword = '疫情'
filtered_df = df[df['content'].str.contains(keyword, na=False, case=False)]
 
# 保存数据为CSV文件和Excel文件
csv_file_path = 'cleaned_news_data.csv'
excel_file_path = 'cleaned_news_data.xlsx'
df.to_csv(csv_file_path, index=False, encoding='utf-8-sig')
df.to_excel(excel_file_path, index=False, engine='openpyxl')
 
# 打印过滤后的数据查看
print(filtered_df.head())