使用 Ruby 的 Nokogiri 库来解析

qq^^6141368092023-11-09 20:49

爬虫程序的主要目标是获取指定网站上的数据。在这里，我们将使用 Ruby 的 Nokogiri 库来解析 HTML，并使用 HTTParty 库来发送 HTTP 请求。下面是一个简单的示例，演示如何使用 Ruby 编写一个爬虫程序来爬取 1688 网站的数据。

ruby 复制代码

require 'nokogiri'
require 'httparty'


# 定义要爬取的 URL
url = "jshk.com.cn"

# 使用 HTTParty 发送 HTTP 请求
response = HTTParty.get(url, headers: { "Proxy-Host" => proxy_host, "Proxy-Port" => proxy_port })

# 使用 Nokogiri 解析 HTML
doc = Nokogiri::HTML(response.body)

# 获取网页中的所有商品链接
links = doc.css(".product-item")

links.each do |link|
  puts link["href"]
end

上述代码的工作步骤如下：

首先，我们引入了 Nokogiri 和 HTTParty 库。
然后，我们设置了代理信息，包括代理服务器的主机名和端口号。
接下来，我们定义了要爬取的 URL，即 1688 网站的首页。
使用 HTTParty 发送 HTTP 请求，并设置代理信息。
使用 Nokogiri 解析返回的 HTML。
使用 CSS 选择器获取网页中的所有商品链接。
最后，遍历所有链接，并打印出每个链接的 URL。

注意：在实际使用中，可能需要处理各种异常情况，例如网络连接错误、HTTP 请求错误等。