爬取网站内容转为markdown 和 html(通常模式)

我们遇到一些自己喜欢内容,想保存下来,手动复制粘贴很麻烦,我们使用 python 来爬取这些内容。

一、代码

downlod.py

python 复制代码
import os
import requests
from bs4 import BeautifulSoup
from urllib.parse import urljoin

# 目标网页(可以更改)
url = "https://www.baidu.com"

# 指定保存的文件夹和 Markdown 文件名
save_folder = "web_md"
os.makedirs(save_folder, exist_ok=True)
md_filename = os.path.join(save_folder, "page.md")
images_folder = os.path.join(save_folder, "images")
os.makedirs(images_folder, exist_ok=True)

# 获取网页内容
response = requests.get(url)
response.encoding = response.apparent_encoding
soup = BeautifulSoup(response.text, "html.parser")

# 打开 Markdown 文件
with open(md_filename, "w", encoding="utf-8") as md_file:
    md_file.write(f"# {soup.title.string.strip()}\n\n")

    for element in soup.body.find_all(["p", "a", "code", "img", "h1", "h2", "h3", "h4", "h5", "h6", "pre"], recursive=True):
        if element.name == "h1":
            md_file.write(f"\n# {element.get_text(strip=True)}\n\n")
        elif element.name == "h2":
            md_file.write(f"\n## {element.get_text(strip=True)}\n\n")
        elif element.name == "h3":
            md_file.write(f"\n### {element.get_text(strip=True)}\n\n")
        elif element.name == "h4":
            md_file.write(f"\n#### {element.get_text(strip=True)}\n\n")
        elif element.name == "p":
            md_file.write(f"{element.get_text(strip=True)}\n\n")
        elif element.name == "a":
            link_text = element.get_text(strip=True)
            href = urljoin(url, element["href"])
            md_file.write(f"[{link_text}]({href})\n\n")
        elif element.name == "code":
            md_file.write(f"```\n{element.get_text(strip=True)}\n```\n\n")
        elif element.name == "pre":
            md_file.write(f"```\n{element.get_text()}\n```\n\n")
        elif element.name == "img":
            img_url = urljoin(url, element["src"])
            img_name = os.path.basename(img_url).split("?")[0]
            img_path = os.path.join(images_folder, img_name)
            try:
                img_data = requests.get(img_url).content
                with open(img_path, "wb") as img_file:
                    img_file.write(img_data)
                md_file.write(f"![{img_name}](images/{img_name})\n\n")
            except Exception as e:
                print(f"下载 {img_url} 失败: {e}")

print(f"Markdown 文件已保存至 {md_filename}")

二、安装环境

  1. 安装 python
  2. 管理员运行 cmd,最好挂梯子
bash 复制代码
pip install requests beautifulsoup4
  1. 在 downlod.py 同级目录下运行cmd
bash 复制代码
python download.py



三、vscode + markdown all in one

  1. 安装 vscode
  2. vscode 的扩展安装 markdown all in one
  3. vscode 打开下载的 md 文件
  4. 点击右上角的 预览 按钮,即可预览转换后的 md 文件
  5. ctrl + shift + p,打开命令模式
  6. 输入 markdown ,使用这个命令,可以将md转为 html 格式

相关推荐
卷无止境6 分钟前
Python 开发中的资源管理:统一生命周期,保留资源差异
后端·python
新*16 分钟前
520 万数据迁移实战:Elasticsearch 索引重建与"改名"的完整踩坑记录
python·mysql·elasticsearch·数据迁移
吴名氏.1 小时前
Java转AI Agent教程(第十五周)政策时效:过期政策不该被召回,也不能被删掉
java·人工智能·python·ai·ai agent
黑客笔记11 小时前
python小工具win7翻车事故现场
python
岁月宁静13 小时前
从零拆解 AI 语音模拟面试系统
人工智能·python·agent
benchmark_cc13 小时前
个人开发者接入五档盘口:用 QuantDash 读取单只股票的验收清单与易错点
python·数据分析·pandas·量化交易·股票数据·quantdash
ZhengEnCi14 小时前
项目越写越乱?先别改架构:用一次目录重排 + 一份可复算的体检脚本把乱治住
python·架构·ai编程
Dmz丶15 小时前
前端转 AI 100 天 Day 45:阶段复盘——从“会调 API”到“做出 AI 产品”
python
Sakura_j_h_15 小时前
MCP SDK 2.0 实战:用 MCPServer 搭本地笔记检索服务
开发语言·笔记·python·qt·ai工具·mcp·mcpserver
QuZhengRong16 小时前
【AI】Agent 全栈进阶|AgentScope 沙箱源码解析
python·学习·ai·agent·沙箱