使用 `open-uri.with_proxy` 方法打开网页

Ruby 爬虫程序如下:

ruby 复制代码
require 'open-uri'
require 'nokogiri'

# 定义代理信息
proxy_host = 'jshk.com.cn'


# 定义要爬取的网页 URL
url = 'http://www.example.com'

# 使用代理信息打开网页
open-uri.with_proxy(proxy_host, proxy_port) do |proxy|
  # 使用 Nokogiri 库解析网页内容
  doc = Nokogiri::HTML(proxy.open(url))
end

代码解释:

  1. 首先,我们引入了两个 Ruby 模块,即 open-uri 和 nokogiri。open-uri 模块用于打开网络资源,nokogiri 模块用于解析 HTML 文档。

  2. 然后,我们定义了代理信息,即代理服务器的主机名和端口号。

  3. 接着,我们定义了要爬取的网页 URL。

  4. 使用 open-uri.with_proxy 方法打开网页,其中第一个参数是代理服务器的主机名,第二个参数是代理服务器的端口号。在 with_proxy 方法内部,我们使用 proxy.open 方法打开网页。

  5. 使用 Nokogiri::HTML 方法解析打开的网页内容。

相关推荐
雪雪爱冲浪14 小时前
2026 年网络爬虫领域的Puppeteer vs. Playwright
爬虫·网络协议·测试工具·接口隔离原则
深蓝电商API2 天前
mitmproxy高级用法:自定义脚本拦截改包
爬虫·mitmproxy
Fluxproxy2 天前
Python爬虫异步提速终极方案|线程池ThreadPoolExecutor实战,告别单线程慢速爬取
开发语言·爬虫·python
独立开发者阿乐2 天前
llms.txt 是什么?为什么 AI 爬虫需要这个文件
人工智能·爬虫·geo优化·ai爬虫·llms.txt·ai收录·robots.txt
傻啦嘿哟2 天前
高校信息爬虫:爬取全国高校列表与排名,做择校分析
爬虫
深蓝电商API2 天前
HTTP/2 协议逆向:从 Fiddler 抓不到包说起
爬虫·网络协议·http·fiddler
隐擎fox3 天前
深入网络风控底层:解密 IP 信誉评分模型、ASN 属性判定与多租户原生网络隔离架构
网络·爬虫·网络协议·tcp/ip·架构·跨境电商·指纹浏览器
zzp282183 天前
Estyapp逆向分析
爬虫
天启HTTP3 天前
爬虫防封核心原理:IP轮换机制与风控规避逻辑
linux·服务器·网络·爬虫·tcp/ip
SEO_juper4 天前
用 Python 写一个 GEO 可见性检查脚本:你的网站现在能被 AI 引用吗
开发语言·人工智能·爬虫·python·seo·外贸独立站