Python从HTML提取纯文本、去空格、比对内容是否变化：方案+合理性分析

核心问题：直接提取全部文本、去掉所有空格做字符串比对，是否合理？

结论：不完全合理，有坑，但可以改造后可用。

为什么直接"全部提取文本+删掉全部空格换行"有问题

无关文本干扰：广告、侧边栏、时间戳、访问统计、页面弹窗、js动态渲染提示、底部版权时间，每次刷新会变，实际正文没有变，比对会误判为变更。
标签内属性文本混入（meta、script、style内文字），这些不属于页面可见正文。
空格语义被完全抹除 ：正常段落内部空格、换行全部删除，虽然适合简单比对，但丢失原文；另外HTML里 、\t、\r多种空白字符需要统一处理。
DOM顺序微调 ：网页开发者微调标签嵌套、增加class/id属性，可见文本完全没变，但HTML源码不一样 ；如果你只关心人看到的内容，应该对比渲染后的可见文本，而不是原始html源码。
动态网页：JS渲染内容，如果只用requests拿静态HTML，拿不到js生成的文本。

适用场景：适合简单静态页面、正文占绝大部分、噪声少的场景；不适合新闻门户、带广告、侧边组件频繁改动的网页。

方案一：提取HTML可见纯文本（使用BeautifulSoup）

关键点：

移除 <script> <style> <noscript> 标签，不要把JS、CSS代码当成文本。
提取用户肉眼可见文本。
空白字符归一化：不是粗暴删除所有空格 ，两种策略：
- 策略A（用于比对）：把所有空白（换行、制表、多个空格、 ）压缩成单个空格；
- 策略B（你想要）：全部删除所有空白字符，得到一整串连续字符串用于哈希比对。
对文本做哈希（md5）保存到数据库，下次抓取直接对比哈希，不用存大段文本。

完整示例代码

python 复制代码

from bs4 import BeautifulSoup
import re
import hashlib


def extract_visible_text(html: str, remove_all_whitespace: bool = False) -> str:
    """
    提取HTML可见文本，剔除script/style等标签内容
    :param html: html原始字符串
    :param remove_all_whitespace: True=删除全部空白；False=多个空白压缩成单个空格
    :return: 清洗后的纯文本
    """
    soup = BeautifulSoup(html, "html.parser")
    # 删除脚本、样式标签，不要它们的文本
    for bad_tag in soup(["script", "style", "noscript"]):
        bad_tag.decompose()

    # 获取全部可见文本
    raw_text = soup.get_text(separator=" ")

    # 替换所有空白字符：换行\r\n、制表\t、nbsp、多个空格
    # \s 匹配：空格、制表符、换行、回车
    if remove_all_whitespace:
        # 全部删掉所有空白字符，得到连续字符串
        clean_text = re.sub(r"\s+", "", raw_text)
    else:
        # 多个空白压缩为1个空格，保留语义
        clean_text = re.sub(r"\s+", " ", raw_text).strip()
    return clean_text


def calc_text_hash(text: str) -> str:
    """计算md5哈希，用于快速比对，存入数据库"""
    return hashlib.md5(text.encode("utf-8")).hexdigest()


# ---------------- 使用示例 ----------------
if __name__ == "__main__":
    html1 = """
    <html>
        <body>
            <div>你好   世界！</div>
            <script>console.log(123)</script>
            <p>第一行<br>第二行</p>
        </body>
    </html>
    """
    text_all_remove = extract_visible_text(html1, remove_all_whitespace=True)
    print(f"删除全部空白文本：{text_all_remove}")
    # 输出：你好世界！第一行第二行

    text_compress = extract_visible_text(html1, remove_all_whitespace=False)
    print(f"空白压缩为单个空格：{text_compress}")
    # 输出：你好 世界！ 第一行 第二行

    hash_val = calc_text_hash(text_all_remove)
    print(f"文本md5:{hash_val}")

    # 比对逻辑：数据库存上次的md5
    old_hash = "xxx"
    if hash_val != old_hash:
        print("页面内容发生变化")
    else:
        print("页面没有变化")

两种比对思路对比

方案	做法	优点	缺点
比对原始HTML源码	直接对比requests拿到的response.text	最简单	css class、注释、换行、js随机变量微小改动就判定变更，大量误报
提取可见文本，删除全部空格后比对	`re.sub(r"\s+","",text)` 后对比字符串/md5	字符串短，比对极快；不关心排版换行	丢失段落语义；页面插入一个空格就不变，但是文字顺序改动可以识别；广告噪声会带来误判
提取可见文本，空白压缩为单个空格比对	多个空白压缩为一个空格	保留基础语义，更贴近阅读体验	字符串略长，比对速度略低

建议：数据库存储清洗后文本的md5哈希值，不要每次存整段大文本，节省存储空间。

重要缺陷与优化建议（解决误报）

问题1：页面存在噪声（时间、广告、访问计数）

比如网页底部：更新时间：2026‑08‑05，每次抓取时间变化，正文不变，会判定页面改动。

优化：

如果页面有固定选择器（比如正文是div.content），不要抓取整个页面的全部文本！只提取正文区块。

python 复制代码

# 只提取正文部分，不要整个网页
content_div = soup.select_one("div.content")
if content_div:
    raw_text = content_div.get_text(separator=" ")

这是最关键优化！不要拿整个网页，优先定位正文DOM节点。

问题2：JS动态渲染页面

requests只能拿到初始静态HTML，如果内容是JS渲染出来，BeautifulSoup提取不到。

解决：使用DrissionPage / Playwright获取渲染完成后的HTML。

问题3：极小改动（标点、一个字改动）

md5可以精准识别任意字符改动；如果业务希望容忍微小改动，可以用文本相似度算法（difflib、simhash），而不是严格相等。

md5：严格完全相等才判定无变化；只要一个字符不同，哈希完全不同；适合要求精准比对。
simhash：适合新闻网页，允许少量文字改动，判断是否"大体内容没变"。

回到你的业务，什么场景适合"提取全部文本去空格比对"

✅适合场景：

静态页面，正文是主体，广告/噪声很少；
只关心文字内容，不在乎排版、换行；
需要快速判断页面是否改动。

❌不适合场景：

网页有动态时间戳、广告、侧边栏、计数器；
需要区分排版，空格换行有业务意义；
JS渲染为主的网页。