go 爬虫之 colly 简单示例

1. 背景

colly 是 Go 实现的比较有名的一款爬虫框架,而且 Go 在高并发和分布式场景的优势也正是爬虫技术所需要的。它的主要特点是轻量、快速,设计非常优雅,并且分布式的支持也非常简单,易于扩展。

2. 官方文档

https://go-colly.org/docs/

3. colly 安装

go 复制代码
go get -u github.com/gocolly/colly

4. 简单示例

go 复制代码
package main

import (
	"fmt"

	"github.com/gocolly/colly"
)

func main() {
	// 创建一个新的爬虫实例
	c := colly.NewCollector()

	// 设置回调函数来处理每个找到的链接
	c.OnHTML("title", func(e *colly.HTMLElement) {
		fmt.Println("Title:", e.Text)
	})

	// 开始爬取指定 URL
	c.Visit("https://baidu.com")
}
  • 执行后的效果:
相关推荐
阿蒙Amon4 分钟前
C#扩展方法全解析:给现有类型插上翅膀的魔法
开发语言·c#
尘浮72828 分钟前
60天python训练计划----day59
开发语言·python
Chef_Chen1 小时前
从0开始学习R语言--Day39--Spearman 秩相关
开发语言·学习·r语言
不学会Ⅳ1 小时前
Mac M芯片搭建jdk源码环境(jdk24)
java·开发语言·macos
好开心啊没烦恼2 小时前
Python 数据分析:计算,分组统计1,df.groupby()。听故事学知识点怎么这么容易?
开发语言·python·数据挖掘·数据分析·pandas
lljss20203 小时前
Python11中创建虚拟环境、安装 TensorFlow
开发语言·python·tensorflow
Python×CATIA工业智造6 小时前
Frida RPC高级应用:动态模拟执行Android so文件实战指南
开发语言·python·pycharm
我叫小白菜7 小时前
【Java_EE】单例模式、阻塞队列、线程池、定时器
java·开发语言
狐凄7 小时前
Python实例题:基于 Python 的简单聊天机器人
开发语言·python
weixin_446122468 小时前
JAVA内存区域划分
java·开发语言·redis