电商评论自动化监控与情感数据分析完整落地教程（附可直接运行 Python 代码）

pip install requests pandas jieba wordcloud matplotlib snownlp

import requests
import pandas as pd
import time
import re

# 基础配置
# 工具提供的数据访问地址，替换为你自己任务生成的链接
DATA_URL = "https://xxx.xxx/task/review?goods_id=123456"
# 本地存储文件
SAVE_FILE = "goods_review.csv"
# 过滤无意义默认好评关键词
USELESS_TEXT = ["好评", "不错", "很好", "满意", "发货快", "物流快", "默认评价"]

def get_review_data():
    """拉取结构化评价数据"""
    try:
        res = requests.get(DATA_URL, timeout=30)
        res.raise_for_status()
        data = res.json()
        return data.get("list", [])
    except Exception as e:
        print(f"数据拉取失败：{str(e)}")
        return []

def clean_text(text):
    """清洗文本：去除表情、数字、标点、空格"""
    if not text:
        return ""
    # 去除特殊符号、数字、空格
    text = re.sub(r"[0-9\s\p{P}]", "", text)
    # 过滤纯默认评价
    for word in USELESS_TEXT:
        if text == word:
            return ""
    return text

def save_to_csv(review_list):
    """清洗并保存数据，自动去重"""
    if not review_list:
        return
    df_new = pd.DataFrame(review_list)
    # 文本清洗
    df_new["clean_content"] = df_new["content"].apply(clean_text)
    # 过滤空文本无效评价
    df_new = df_new[df_new["clean_content"] != ""]
    # 去重（根据评价ID）
    try:
        df_old = pd.read_csv(SAVE_FILE)
        df_all = pd.concat([df_old, df_new]).drop_duplicates(subset=["review_id"], keep="last")
    except FileNotFoundError:
        df_all = df_new
    # 保存文件
    df_all.to_csv(SAVE_FILE, index=False, encoding="utf-8-sig")
    print(f"本次新增有效评价：{len(df_new)} 条，累计有效数据：{len(df_all)} 条")

if __name__ == "__main__":
    # 循环定时监控，每10分钟拉取一次
    while True:
        review_data = get_review_data()
        save_to_csv(review_data)
        print("等待10分钟后执行下一轮采集...\n")
        time.sleep(600)

import pandas as pd
import jieba
from snownlp import SnowNLP
import matplotlib.pyplot as plt
from wordcloud import WordCloud
from collections import Counter

plt.rcParams["font.sans-serif"] = ["SimHei"]
plt.rcParams["axes.unicode_minus"] = False
SAVE_FILE = "goods_review.csv"

def sentiment_analysis():
    df = pd.read_csv(SAVE_FILE, encoding="utf-8-sig")
    sentiment_result = []
    all_words = []
    # 停用词过滤
    stop_words = {"的", "了", "很", "比较", "感觉", "就是", "还", "有点", "一点", "但是", "不过"}
    
    for text in df["clean_content"]:
        if not text:
            continue
        # 情感打分 0负面-1正面
        s = SnowNLP(text)
        score = s.sentiments
        if score >= 0.6:
            label = "好评"
        elif score >= 0.3:
            label = "中评"
        else:
            label = "差评"
        sentiment_result.append(label)
        # 分词提取有效词汇
        words = jieba.lcut(text)
        for w in words:
            if len(w) > 1 and w not in stop_words:
                all_words.append(w)
    # 新增情感标签列
    df["sentiment_label"] = sentiment_result
    df.to_csv("review_sentiment_result.csv", index=False, encoding="utf-8-sig")
    print("情感分类完成，文件已保存")
    
    # 1. 评分情感分布柱状图
    sentiment_count = df["sentiment_label"].value_counts()
    plt.figure(figsize=(8, 5))
    sentiment_count.plot(kind="bar", color=["#66cc66", "#ffcc66", "#ff6666"])
    plt.title("商品评价情感分布统计")
    plt.xlabel("评价类型")
    plt.ylabel("数量")
    plt.savefig("sentiment_dist.png", dpi=300, bbox_inches="tight")
    
    # 2. 差评高频词云图
    bad_df = df[df["sentiment_label"] == "差评"]
    bad_text = "".join(bad_df["clean_content"].astype(str))
    bad_words = jieba.lcut(bad_text)
    bad_filter = [w for w in bad_words if len(w)>1 and w not in stop_words]
    word_count = Counter(bad_filter)
    word_str = " ".join(bad_filter)
    wc = WordCloud(
        background_color="white",
        font_path="C:/Windows/Fonts/simhei.ttf",
        width=1000, height=600
    ).generate(word_str)
    wc.to_file("bad_wordcloud.png")
    print("情感分布图、差评词云图已生成")
    # 打印Top20负面高频词
    print("差评高频关键词Top20：")
    print(word_count.most_common(20))

if __name__ == "__main__":
    sentiment_analysis()