【Go程序】爬虫获取豆瓣Top250

之前在网上下载了一个minigame的开源项目,就是电影日历。里面有一项使用了豆瓣的API,获取豆瓣的Top250的电影。但是由于豆瓣的OpenAPI改版了,又不好申请到OpenAPI的资格,想想也不是什么非法的事情,就稍微搞几部电影名字嘛。

一般来讲,我们经常用Python写爬虫来解析数据,主要是因为request库和beautifulsoup4库过于好用了点,每次都会忘记怎么用,每次看个例子又能用起来了。今天想想要不用Go来实现把,毕竟现在的程序用go写起来也很顺手了。

这里需要用到一个库,goquery,功能和bs4一样,用于解析获取到的xml,然后net/http方法用于替代python的request库。动手把。

Go 复制代码
package main

import (
	"fmt"
	"log"
	"math/rand"
	"net/http"
	"time"

	"github.com/PuerkitoBio/goquery"
)

// randomUserAgent 返回一个随机的 User-Agent 字符串
func randomUserAgent() string {
	userAgents := []string{
		"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36",
		"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.114 Safari/537.36",
		"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.106 Safari/537.36",
		"Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:89.0) Gecko/20100101 Firefox/89.0",
		"Mozilla/5.0 (Macintosh; Intel Mac OS X 10.15; rv:89.0) Gecko/20100101 Firefox/89.0",
	}

	rand.Seed(time.Now().UnixNano())
	return userAgents[rand.Intn(len(userAgents))]
}

func fetch(url string) (*goquery.Document, error) {
	req, err := http.NewRequest("GET", url, nil)
	if err != nil {
		return nil, err
	}

	userAgent := randomUserAgent()
	req.Header.Set("User-Agent", userAgent)

	client := &http.Client{}
	resp, err := client.Do(req)
	if err != nil {
		return nil, err
	}

	if resp.StatusCode != http.StatusOK {
		return nil, fmt.Errorf("request failed with status code: %d", resp.StatusCode)
	}
	defer resp.Body.Close()
	doc, err := goquery.NewDocumentFromReader(resp.Body)
	if err != nil {
		return nil, err
	}

	return doc, nil
}

func main() {
	baseURL := "https://movie.douban.com/top250"
	for page := 1; page <= 10; page++ { // 假设每页25部电影,共10页
		url := fmt.Sprintf("%s?start=%d&filter=", baseURL, (page-1)*25)
		doc, err := fetch(url)
		if err != nil {
			log.Fatal(err)
		}

		doc.Find(".item").Each(func(i int, s *goquery.Selection) {
			title := s.Find(".title").First().Text()
			rating := s.Find(".rating_num").First().Text()
			votes := s.Find(".star .pl").First().Prev().Text()

			fmt.Printf("Movie %d: %s, Rating: %s, Votes: %s\n", i+(page-1)*25+1, title, rating, votes)
		})
	}
}

得到结果如下

Go 复制代码
Movie 1: 肖申克的救赎, Rating: 9.7, Votes: 
Movie 2: 霸王别姬, Rating: 9.6, Votes: 
Movie 3: 阿甘正传, Rating: 9.5, Votes: 
Movie 4: 泰坦尼克号, Rating: 9.5, Votes: 
Movie 5: 千与千寻, Rating: 9.4, Votes: 
Movie 6: 这个杀手不太冷, Rating: 9.4, Votes: 
Movie 7: 美丽人生, Rating: 9.5, Votes: 
............

我们对代码解释一下:

这段 Go 代码是一个简单的网页爬虫,用于抓取豆瓣电影 Top 250 列表中的电影标题、评分和投票数。下面是代码的详细解释:

  1. 导入包:

main:主包。

fmt, log, math/rand, net/http, time:标准库包,分别用于格式化输出、日志记录、生成随机数、处理 HTTP 请求和时间操作。

"github.com/PuerkitoBio/goquery":一个用于解析 HTML 文档的第三方库。

  1. randomUserAgent 函数:

定义了一个字符串切片 userAgents,其中包含了多个不同的 User-Agent 字符串。

使用 rand.Seed(time.Now().UnixNano()) 初始化随机数生成器。

函数返回 userAgents 切片中的一个随机元素作为 User-Agent。

  1. fetch 函数:
  • 创建一个新的 HTTP GET 请求。
  • 设置请求头的 User-Agent 字段为一个随机值。
  • 使用 http.Client 发送请求并获取响应。
  • 检查 HTTP 响应状态码,如果不是 http.StatusOK(即 200 OK),则返回错误。
  • 使用 goquery.NewDocumentFromReader 从响应体创建一个 goquery.Document 对象。
  • 返回文档对象或错误。
  1. main 函数:
  • 定义了豆瓣电影 Top 250 的基础 URL。
  • 循环遍历 10 页(假设每页有 25 部电影)。
  • 构造每一页的完整 URL。
  • 调用 fetch 函数获取页面的 goquery.Document。
  • 使用 doc.Find(".item") 查找所有具有类 .item 的元素,这些元素代表单个电影条目。
  • 对于每个找到的电影条目,提取标题、评分和投票数。
  • 打印提取的信息。

代码中使用了 goquery 库来解析和选择 HTML 元素,以及 log.Fatal 来记录并终止程序在遇到错误时的运行。

相关推荐
数据小小爬虫7 小时前
利用Java爬虫获取苏宁易购商品详情
java·开发语言·爬虫
小木_.7 小时前
【Python 图片下载器】一款专门为爬虫制作的图片下载器,多线程下载,速度快,支持续传/图片缩放/图片压缩/图片转换
爬虫·python·学习·分享·批量下载·图片下载器
lovelin+v175030409668 小时前
安全性升级:API接口在零信任架构下的安全防护策略
大数据·数据库·人工智能·爬虫·数据分析
qq_3758726910 小时前
14爬虫:scrapy实现翻页爬取
爬虫·scrapy
Jelena技术达人10 小时前
Java爬虫获取1688关键字接口详细解析
java·开发语言·爬虫
小爬虫程序猿13 小时前
如何利用Python爬虫精准获取苏宁易购商品详情
开发语言·爬虫·python
API快乐传递者13 小时前
Python爬虫获取1688详情接口详细解析
开发语言·爬虫·python
小爬虫程序猿15 小时前
如何设置爬虫的访问频率?
爬虫