go 爬虫之 colly 简单示例

1. 背景

colly 是 Go 实现的比较有名的一款爬虫框架,而且 Go 在高并发和分布式场景的优势也正是爬虫技术所需要的。它的主要特点是轻量、快速,设计非常优雅,并且分布式的支持也非常简单,易于扩展。

2. 官方文档

https://go-colly.org/docs/

3. colly 安装

go 复制代码
go get -u github.com/gocolly/colly

4. 简单示例

go 复制代码
package main

import (
	"fmt"

	"github.com/gocolly/colly"
)

func main() {
	// 创建一个新的爬虫实例
	c := colly.NewCollector()

	// 设置回调函数来处理每个找到的链接
	c.OnHTML("title", func(e *colly.HTMLElement) {
		fmt.Println("Title:", e.Text)
	})

	// 开始爬取指定 URL
	c.Visit("https://baidu.com")
}
  • 执行后的效果:
相关推荐
weixin_307779134 分钟前
使用C#实现从Hive的CREATE TABLE语句中提取分区字段名和数据类型
开发语言·数据仓库·hive·c#
z_mazin10 分钟前
JavaScript逆向魔法:Chrome开发者工具探秘之旅
javascript·chrome·爬虫
Xiaok101812 分钟前
解决 Hugging Face SentenceTransformer 下载失败的完整指南:ProxyError、SSLError与手动下载方案
开发语言·神经网络·php
绿草在线14 分钟前
Mock.js虚拟接口
开发语言·javascript·ecmascript
go_bai25 分钟前
Linux环境基础开发工具——(2)vim
linux·开发语言·经验分享·笔记·vim·学习方法
小郝 小郝26 分钟前
【C语言】strstr查找字符串函数
c语言·开发语言
yinhezhanshen31 分钟前
理解rust里面的copy和clone
开发语言·后端·rust
Jtti1 小时前
PHP在Debian环境上的并发处理能力如何
开发语言·debian·php
时光追逐者1 小时前
在 Blazor 中使用 Chart.js 快速创建数据可视化图表
开发语言·javascript·信息可视化·c#·.net·blazor
独好紫罗兰1 小时前
洛谷题单3-P5718 【深基4.例2】找最小值-python-流程图重构
开发语言·python·算法