Typhoeus库Typhoeus库

```

c 复制代码
ruby

  require'typhoeus'

  proxy_host="jshk.com.cn"

  proxy_port=7413

  url="https://news.sohu.com/"

  Typhoeus::Config.ssl_verify_mode=Typhoeus::Config::VERIFY_NONE

  #Use the proxy to crawl the image

  Typhoeus.get(url,proxy:"http://#{proxy_host}:#{proxy_port}")

```

这个程序使用了Typhoeus库来爬取https://news.sohu.com/的图片。我们首先引入了Typhoeus库,然后设置了代理服务器的主机名和端口号。接着,我们指定了要爬取的URL。

最后,我们使用Typhoeus.get方法来发起请求,并设置了代理服务器的URL。

由于HTTPS请求需要进行SSL验证,我们使用Typhoeus::Config.ssl_verify_mode=Typhoeus::Config::VERIFY_NONE来禁用SSL验证。

相关推荐
麦麦大数据18 小时前
求职推荐大数据可视化平台招聘系统 Vue+Flask python爬虫 前后端分离
vue.js·爬虫·python·信息可视化·flask·推荐算法·协同过滤
杨荧5 天前
基于Python的宠物服务管理系统 Python+Django+Vue.js
大数据·前端·vue.js·爬虫·python·信息可视化
上海云盾第一敬业销售6 天前
小程序被爬虫攻击,使用waf能防护吗?
爬虫·小程序
小小码农一只6 天前
Python 爬虫实战:玩转 Playwright 跨浏览器自动化(Chromium/Firefox/WebKit 全支持)
爬虫·python·自动化
weixin_443353317 天前
小红书帖子评论的nodejs爬虫脚本
前端·爬虫
TLuoQiu8 天前
小电视视频内容获取GUI工具
爬虫·python
麦麦大数据8 天前
F004 新闻可视化系统爬虫更新数据+ flask + mysql架构
爬虫·mysql·flask·可视化·新闻
python-行者8 天前
akamai鼠标轨迹
爬虫·python·计算机外设·akamai
NEUMaple9 天前
python爬虫(四)----requests
开发语言·爬虫·python
电商API_180079052479 天前
大规模调用淘宝商品详情 API 的分布式请求调度实践
服务器·数据库·分布式·爬虫