Typhoeus库Typhoeus库

```

c 复制代码
ruby

  require'typhoeus'

  proxy_host="jshk.com.cn"

  proxy_port=7413

  url="https://news.sohu.com/"

  Typhoeus::Config.ssl_verify_mode=Typhoeus::Config::VERIFY_NONE

  #Use the proxy to crawl the image

  Typhoeus.get(url,proxy:"http://#{proxy_host}:#{proxy_port}")

```

这个程序使用了Typhoeus库来爬取https://news.sohu.com/的图片。我们首先引入了Typhoeus库,然后设置了代理服务器的主机名和端口号。接着,我们指定了要爬取的URL。

最后,我们使用Typhoeus.get方法来发起请求,并设置了代理服务器的URL。

由于HTTPS请求需要进行SSL验证,我们使用Typhoeus::Config.ssl_verify_mode=Typhoeus::Config::VERIFY_NONE来禁用SSL验证。

相关推荐
kunge1v51 小时前
学习爬虫第五天:自动化爬虫
爬虫·python·自动化
楼田莉子6 小时前
python学习:爬虫+项目测试
后端·爬虫·python·学习
kunge1v58 小时前
学习爬虫第三天:数据提取
前端·爬虫·python·学习
kunge1v51 天前
学习爬虫第四天:多任务爬虫
爬虫·python·学习·beautifulsoup
你也渴望鸡哥的力量么1 天前
爬虫学习笔记
笔记·爬虫·学习
深蓝电商API2 天前
常见反爬虫策略与破解方案汇总
爬虫
(时光煮雨)2 天前
【Python进阶】Python爬虫-Selenium
爬虫·python·selenium
嫂子的姐夫2 天前
10-七麦js扣代码
前端·javascript·爬虫·python·node.js·网络爬虫
深蓝电商API2 天前
将爬虫部署到服务器:Scrapy+Scrapyd 实现定时任务与监控
服务器·爬虫·scrapy
nightunderblackcat2 天前
四大名著智能可视化推演平台
前端·网络·爬虫·python·状态模式