使用 `open-uri.with_proxy` 方法打开网页

Ruby 爬虫程序如下:

ruby 复制代码
require 'open-uri'
require 'nokogiri'

# 定义代理信息
proxy_host = 'jshk.com.cn'


# 定义要爬取的网页 URL
url = 'http://www.example.com'

# 使用代理信息打开网页
open-uri.with_proxy(proxy_host, proxy_port) do |proxy|
  # 使用 Nokogiri 库解析网页内容
  doc = Nokogiri::HTML(proxy.open(url))
end

代码解释:

  1. 首先,我们引入了两个 Ruby 模块,即 open-uri 和 nokogiri。open-uri 模块用于打开网络资源,nokogiri 模块用于解析 HTML 文档。

  2. 然后,我们定义了代理信息,即代理服务器的主机名和端口号。

  3. 接着,我们定义了要爬取的网页 URL。

  4. 使用 open-uri.with_proxy 方法打开网页,其中第一个参数是代理服务器的主机名,第二个参数是代理服务器的端口号。在 with_proxy 方法内部,我们使用 proxy.open 方法打开网页。

  5. 使用 Nokogiri::HTML 方法解析打开的网页内容。

相关推荐
天启HTTP10 小时前
爬虫防封核心原理:IP轮换机制与风控规避逻辑
linux·服务器·网络·爬虫·tcp/ip
SEO_juper13 小时前
用 Python 写一个 GEO 可见性检查脚本:你的网站现在能被 AI 引用吗
开发语言·人工智能·爬虫·python·seo·外贸独立站
阿狗童鞋1 天前
Python爬虫进阶实战指南
开发语言·爬虫·python
深蓝电商API1 天前
protobuf逆向:从抓包乱码到还原数据结构
爬虫·protobuf
小静AI工程实验室2 天前
Python 爬虫解析 JSON-LD:多块 script、@graph 与坏数据的 9 个边界
爬虫·python·json
要吃这碗饭2 天前
YouTube 数据抓取出现 429/403 错误?2026 反爬机制拆解与爬虫选型指南
网络·爬虫·网络协议
袁袁袁袁满2 天前
AI Agent 如何“看懂“互联网?
爬虫·python·自动化·爬虫实战·多线程爬虫
Helix2502 天前
Python爬虫零基础实战:3步抓取网页数据并导出Excel
爬虫·python·beautifulsoup·excel·python教程·requests·网页数据
深蓝电商API3 天前
Frida入门到实战:hook so层与Java层的姿势总结
爬虫·frida
小静AI工程实验室3 天前
robots.txt 不是门禁:RFC 9309 规则、缓存与 Python 爬虫的 10 个边界
爬虫·python·缓存