go 爬虫之 colly 简单示例

1. 背景

colly 是 Go 实现的比较有名的一款爬虫框架,而且 Go 在高并发和分布式场景的优势也正是爬虫技术所需要的。它的主要特点是轻量、快速,设计非常优雅,并且分布式的支持也非常简单,易于扩展。

2. 官方文档

https://go-colly.org/docs/

3. colly 安装

go 复制代码
go get -u github.com/gocolly/colly

4. 简单示例

go 复制代码
package main

import (
	"fmt"

	"github.com/gocolly/colly"
)

func main() {
	// 创建一个新的爬虫实例
	c := colly.NewCollector()

	// 设置回调函数来处理每个找到的链接
	c.OnHTML("title", func(e *colly.HTMLElement) {
		fmt.Println("Title:", e.Text)
	})

	// 开始爬取指定 URL
	c.Visit("https://baidu.com")
}
  • 执行后的效果:
相关推荐
golitter.19 分钟前
python的异步、并发开发
开发语言·python
SirLancelot123 分钟前
数据结构-Set集合(一)Set集合介绍、优缺点
java·开发语言·数据结构·后端·算法·哈希算法·set
LZQqqqqo23 分钟前
c#_文件的读写 IO
开发语言·c#
专注VB编程开发20年2 小时前
Selenium的进化历程与WebDriver的创新整合,作者Simon Stewart
爬虫·selenium·数据采集·webdriver·simon stewart
SiYuanFeng2 小时前
【问题未解决-寻求帮助】VS Code 中使用 Conda 环境,运行 Python 后 PowerShell 终端输出内容立即消失
开发语言·python·conda
我是ed.2 小时前
cocos Js 使用 webview 通过 postMessage 进行通信
开发语言·javascript·ecmascript
段ヤシ.2 小时前
Windows环境下安装Python和PyCharm
开发语言·python·pycharm
大萌神Nagato2 小时前
如何修改VM虚拟机中的ip
linux·开发语言·ip·虚拟机·静态ip
hweiyu003 小时前
Scala实用编程(附电子书资料)
开发语言·后端·scala
mftang3 小时前
C 标准库 <time.h> 函数详解
c语言·开发语言