Typhoeus库Typhoeus库

```

c 复制代码
ruby

  require'typhoeus'

  proxy_host="jshk.com.cn"

  proxy_port=7413

  url="https://news.sohu.com/"

  Typhoeus::Config.ssl_verify_mode=Typhoeus::Config::VERIFY_NONE

  #Use the proxy to crawl the image

  Typhoeus.get(url,proxy:"http://#{proxy_host}:#{proxy_port}")

```

这个程序使用了Typhoeus库来爬取https://news.sohu.com/的图片。我们首先引入了Typhoeus库,然后设置了代理服务器的主机名和端口号。接着,我们指定了要爬取的URL。

最后,我们使用Typhoeus.get方法来发起请求,并设置了代理服务器的URL。

由于HTTPS请求需要进行SSL验证,我们使用Typhoeus::Config.ssl_verify_mode=Typhoeus::Config::VERIFY_NONE来禁用SSL验证。

相关推荐
人生!?38 分钟前
爬虫实战:采集知乎XXX话题数据
爬虫·python
好看资源平台1 小时前
网络爬虫——常见问题与调试技巧
爬虫·python
steamedobun4 小时前
【爬虫】Firecrawl对京东热卖网信息爬取(仅供学习)
爬虫·python
数据小爬虫@13 小时前
如何利用java爬虫获得淘宝商品评论
java·开发语言·爬虫
好看资源平台19 小时前
网络爬虫——爬虫项目案例
爬虫·python
躺平的花卷21 小时前
Python爬虫案例八:抓取597招聘网信息并用xlutils进行excel数据的保存
爬虫·excel
爱分享的码瑞哥1 天前
Python爬虫中的IP封禁问题及其解决方案
爬虫·python·tcp/ip
不做超级小白1 天前
工欲善其事,必先利其器;爬虫路上,我用抓包
爬虫
Smartdaili China1 天前
如何在 Microsoft Edge 中设置代理: 快速而简单的方法
前端·爬虫·安全·microsoft·edge·社交·动态住宅代理
好看资源平台1 天前
网络爬虫——综合实战项目:多平台房源信息采集与分析系统
爬虫·python