第一个简单爬虫:获取页面

复制代码
import requests
link = "http://www.santostang.com"
header = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.71 Safari/537.36 SE 2.X MetaSr 1.0" }
response  = requests.get(link,headers = header)
print(response.text)
相关推荐
千枫s16 小时前
做一个电脑版爬虫程序
爬虫·python
亿牛云爬虫专家17 小时前
生产级Go高并发爬虫实战:突破 net_http 长连接与隧道代理IP切换陷阱
爬虫·http·golang·代理ip·keepalive·隧道代理·https connect
威风少侠17 小时前
cursor快速实现前后端项目以及playwright实现爬虫程序
爬虫·cursor
小白学大数据18 小时前
分布式爬虫核心技术详解与工程实践
开发语言·分布式·爬虫·python
杜子不疼.21 小时前
Python 爬虫 + AI 总结:自动生成行业日报系统
人工智能·爬虫·python
ZC跨境爬虫2 天前
Scrapy多级请求实战:5sing伴奏网爬取踩坑与优化全记录(JSON提取+Xpath解析)
爬虫·scrapy·html·json
willhuo2 天前
基于Playwright的抖音网页自动化浏览器项目使用指南
爬虫·c#·.netcore·webview
-To be number.wan2 天前
Python爬取百度指数保姆级教程
爬虫·python
程序员老邢2 天前
【产品底稿 04】商助慧 V1.1 里程碑:爬虫入库 + MySQL + Milvus 全链路打通
java·爬虫·mysql·ai·springboot·milvus
ZC跨境爬虫2 天前
【爬虫实战对比】Requests vs Scrapy 笔趣阁小说爬虫,从单线程到高效并发的全方位升级
前端·爬虫·scrapy·html