DeepSeek总结的DuckDB爬虫(crawler)扩展

DuckDB爬虫(crawler)扩展

📊 下载与收录

  • 周下载量: 383
  • GitHub星标: 4
  • 扩展仓库 : GitHub
  • 社区扩展索引 : DuckDB社区扩展
  • 扩展描述(YAML): 支持HTML提取和MERGE操作的SQL原生网页爬虫

维护者: onnimonni

📦 安装与加载

sql 复制代码
INSTALL crawler FROM community;
LOAD crawler;

💡 快速示例

基础用法

sql 复制代码
SELECT url, jq(html.document, 'h1').text as title
FROM crawl(['https://example.com']);

使用 read_html(类似Google Sheets的 =IMPORTHTML)

sql 复制代码
-- 提取表格
SELECT * FROM read_html('https://en.wikipedia.org/wiki/...', 'table.wikitable', 1);

-- 提取JS变量
SELECT * FROM read_html('https://example.com/page', 'js=jobs');

数据提取示例

sql 复制代码
SELECT
    url,
    jq(html.document, '.price', 'data-amount') as price,
    html.readability.title as article_title
FROM crawl(['https://example.com/products']);

使用 MERGE 进行智能合并

sql 复制代码
CRAWLING MERGE INTO pages
USING crawl(['https://example.com']) AS src
ON (src.url = pages.url)
WHEN MATCHED THEN UPDATE BY NAME
WHEN NOT MATCHED THEN INSERT BY NAME;

✨ 核心特性

  • crawl() 表函数 : 支持自动速率限制和 robots.txt 合规性
  • crawl_url() : 支持 LATERAL 连接
  • sitemap(): 解析 XML 网站地图
  • read_html() : 类似 Google Sheets 的 IMPORTHTML,支持提取表格、列表、JS变量
  • jq() 和 htmlpath(): 基于CSS选择器的数据提取函数
  • html.readability: 文章内容提取
  • html.schema: 解析 JSON-LD/微数据
  • CRAWLING MERGE INTO 语法: 支持"存在则更新,不存在则插入"的智能写入

🛠️ 新增函数

函数名 函数类型 描述 备注 示例
crawl 表函数 NULL NULL
crawl_stream 表函数 NULL NULL
crawl_url 表函数 NULL NULL
css_select 标量函数 NULL NULL
discover 标量函数 NULL NULL
htmlpath 标量函数 NULL NULL
jq 标量函数 NULL NULL
read_html 表函数 NULL NULL
sitemap 表函数 NULL NULL
stream_merge_internal 表函数 NULL NULL

⚙️ 新增配置项

名称 描述 输入类型 作用域 别名
crawler_default_delay 若 robots.txt 未指定,则使用默认爬取延迟(秒) DOUBLE GLOBAL \[\]
crawler_max_response_bytes 最大响应体大小(字节,0 = 无限制) BIGINT GLOBAL \[\]
crawler_respect_robots 是否遵守 robots.txt 指令 BOOLEAN GLOBAL \[\]
crawler_timeout_ms HTTP 请求超时时间(毫秒) BIGINT GLOBAL \[\]
crawler_user_agent 爬虫 HTTP 请求的 User-Agent 字符串 VARCHAR GLOBAL \[\]

📚 完整文档

请访问:https://github.com/midwork-finds-jobs/duckdb-crawler

相关推荐
Henry-SAP9 小时前
PP的生产调度员(Production Scheduler)的角色与配置
数据库
Flynn Liang11 小时前
HikariCP 连接池不是越大越好:I/O 密集型 Java 服务的数据库容量工程
java·数据库·mysql·高并发·连接池·hikaricp·sql 优化
wuyk55513 小时前
Spider-第16讲-线程池与竞态问题
大数据·爬虫·python·elasticsearch·搜索引擎
小乖写代码13 小时前
消息、回执与媒体 · msgstore.db · Messages, Receipts, and Media
数据库·媒体·whatsapp·消息回执
GeW14 小时前
世界目光聚焦中国:底层技术、Linux、数据库的破局逻辑
linux·数据库
PingCAP14 小时前
平凯数据库 × 圣诺云数:让治理数据实时可用、跨域可信流通
数据库·tidb
利威尔xu15 小时前
PostgreSQL 索引失效 4 类:函数运算让查询全表扫描拖垮性能
开发语言·数据库·postgresql·性能优化·索引优化
PingCAP15 小时前
挚文集团(陌陌、探探)从 MySQL 分库分表到 TiDB 实时统一架构的实践
数据库·tidb
Decay__15 小时前
SQLServer 运维自动化平台 —— PowerShell + SQL Agent 作业:部署、监控、巡检、告警、工单闭环一体化
运维·数据库·sql·mysql·架构
杨凯凡15 小时前
Spring Framework 7 原生重试与并发限制实战:@Retryable、@ConcurrencyLimit 能替代 Resilience4j 吗?
数据库·spring·sqlserver