go 爬虫之 colly 简单示例

Orangejuz2024-05-22 17:40

1. 背景

colly 是 Go 实现的比较有名的一款爬虫框架，而且 Go 在高并发和分布式场景的优势也正是爬虫技术所需要的。它的主要特点是轻量、快速，设计非常优雅，并且分布式的支持也非常简单，易于扩展。

2. 官方文档

3. colly 安装

go 复制代码

go get -u github.com/gocolly/colly

4. 简单示例

go 复制代码

package main

import (
	"fmt"

	"github.com/gocolly/colly"
)

func main() {
	// 创建一个新的爬虫实例
	c := colly.NewCollector()

	// 设置回调函数来处理每个找到的链接
	c.OnHTML("title", func(e *colly.HTMLElement) {
		fmt.Println("Title:", e.Text)
	})

	// 开始爬取指定 URL
	c.Visit("https://baidu.com")
}

执行后的效果：