Typhoeus库Typhoeus库

```

c 复制代码
ruby

  require'typhoeus'

  proxy_host="jshk.com.cn"

  proxy_port=7413

  url="https://news.sohu.com/"

  Typhoeus::Config.ssl_verify_mode=Typhoeus::Config::VERIFY_NONE

  #Use the proxy to crawl the image

  Typhoeus.get(url,proxy:"http://#{proxy_host}:#{proxy_port}")

```

这个程序使用了Typhoeus库来爬取https://news.sohu.com/的图片。我们首先引入了Typhoeus库,然后设置了代理服务器的主机名和端口号。接着,我们指定了要爬取的URL。

最后,我们使用Typhoeus.get方法来发起请求,并设置了代理服务器的URL。

由于HTTPS请求需要进行SSL验证,我们使用Typhoeus::Config.ssl_verify_mode=Typhoeus::Config::VERIFY_NONE来禁用SSL验证。

相关推荐
Data_agent11 小时前
京东获得京东商品详情API,python请求示例
java·前端·爬虫·python
Cisyam^1 天前
Bright Data AI Scraper Studio:一句话生成企业级爬虫
人工智能·爬虫
一招定胜负1 天前
网络爬虫(第二部)
爬虫
电商API_180079052471 天前
Python爬虫从入门到实战:核心技术与合规指南
大数据·数据库·爬虫
sugar椰子皮1 天前
【爬虫框架-6】中间件的另一种写法实现
爬虫·中间件
三喵2231 天前
跨域 iframe 内嵌的同源策略适配方案-Youtube举例
前端·爬虫
深蓝电商API1 天前
Curl_cffi实战:完美伪装成真实浏览器TLS/JA3指纹
chrome·爬虫·反爬
啊巴矲1 天前
小白从零开始勇闯人工智能:爬虫初级篇(2-网络爬虫(2))
爬虫
深蓝电商API2 天前
爬虫数据增量更新:时间戳、offset、WebSocket 长连接方案
爬虫
陈老老老板2 天前
让AI替你写爬虫:基于自然语言的 AI Scraper Studio 实战解析
人工智能·爬虫