Typhoeus库Typhoeus库

```

c 复制代码
ruby

  require'typhoeus'

  proxy_host="jshk.com.cn"

  proxy_port=7413

  url="https://news.sohu.com/"

  Typhoeus::Config.ssl_verify_mode=Typhoeus::Config::VERIFY_NONE

  #Use the proxy to crawl the image

  Typhoeus.get(url,proxy:"http://#{proxy_host}:#{proxy_port}")

```

这个程序使用了Typhoeus库来爬取https://news.sohu.com/的图片。我们首先引入了Typhoeus库,然后设置了代理服务器的主机名和端口号。接着,我们指定了要爬取的URL。

最后,我们使用Typhoeus.get方法来发起请求,并设置了代理服务器的URL。

由于HTTPS请求需要进行SSL验证,我们使用Typhoeus::Config.ssl_verify_mode=Typhoeus::Config::VERIFY_NONE来禁用SSL验证。

相关推荐
A.sir啊5 小时前
爬虫基础(六)代理简述
爬虫·python·网络协议
A.sir啊2 天前
爬虫基础(五)爬虫基本原理
网络·爬虫·python·网络协议·http·pycharm
程序员石磊2 天前
学术总结Ai Agent中firecrawl(大模型爬虫平台)的超简单的docker安装方式教程
人工智能·爬虫·docker
_曦3 天前
Scrapy如何设置iP,并实现IP重用, IP代理池重用
爬虫·scrapy
dreadp4 天前
解锁豆瓣高清海报:深度爬虫与requests进阶之路
前端·爬虫·python·beautifulsoup·github·requests
黑不拉几的小白兔5 天前
Python爬虫学习第三弹 —— Xpath 页面解析 & 实现无广百·度
爬虫·python·学习
大懒猫软件5 天前
如何运用python爬虫爬取百度贴吧的静态图片?
爬虫·python·百度
PellyKoo5 天前
Python网络爬虫中的编码乱码如何解决
开发语言·爬虫·python
大懒猫软件5 天前
如何运用python爬虫爬取百度贴吧动态加载的图片?
爬虫·python·dubbo
Jelena157795857926 天前
Python爬虫获取item_search_img-按图搜索淘宝商品(拍立淘)接口
爬虫·python·图搜索算法