Typhoeus库Typhoeus库

```

c 复制代码
ruby

  require'typhoeus'

  proxy_host="jshk.com.cn"

  proxy_port=7413

  url="https://news.sohu.com/"

  Typhoeus::Config.ssl_verify_mode=Typhoeus::Config::VERIFY_NONE

  #Use the proxy to crawl the image

  Typhoeus.get(url,proxy:"http://#{proxy_host}:#{proxy_port}")

```

这个程序使用了Typhoeus库来爬取https://news.sohu.com/的图片。我们首先引入了Typhoeus库,然后设置了代理服务器的主机名和端口号。接着,我们指定了要爬取的URL。

最后,我们使用Typhoeus.get方法来发起请求,并设置了代理服务器的URL。

由于HTTPS请求需要进行SSL验证,我们使用Typhoeus::Config.ssl_verify_mode=Typhoeus::Config::VERIFY_NONE来禁用SSL验证。

相关推荐
Glommer2 小时前
AST 反混淆处理示例
javascript·爬虫
q***318313 小时前
爬虫基础之爬取某基金网站+数据分析
爬虫·数据挖掘·数据分析
嫂子的姐夫17 小时前
23-MD5+DES+Webpack:考试宝
java·爬虫·python·webpack·node.js·逆向
HoneyMoose18 小时前
AI Bot 爬虫新势力
人工智能·爬虫
Miku161 天前
LangGraph+BrightData+PaperSearch的研究助理
爬虫·langchain·mcp
自学互联网1 天前
python爬虫入门案例day05:Pexels
开发语言·爬虫·python
star_start_sky1 天前
住宅代理网络:我最近用来数据采集和自动化的小工具
网络·爬虫·自动化
小尘要自信2 天前
【详细步骤解析】爬虫小练习——爬取豆瓣Top250电影,最后以csv文件保存,附源码
爬虫
Python私教2 天前
第一个Python金融爬虫
爬虫·python·金融
野生工程师2 天前
【Python爬虫基础-3】数据解析
开发语言·爬虫·python