【酱浦菌-爬虫项目】爬取学术堂论文信息

  1. 首先,代码定义了一个名为

```

url

```

的变量,它是一个包含三个网址的集合(或者说是一个集合的字典)。这些网址分别是:

  1. 接下来,设置了一个HTTP请求的头部信息,模拟了一个Chrome浏览器的请求。

  2. 然后,通过`requests.get()`方法,分别发送GET请求到这三个URL,并将响应内容保存在`response`变量中。

  3. 由于网站的编码方式可能不同,这里使用了一些编码转换操作:

  • `response.text.encode('iso-8859-1').decode('gbk')`将响应内容从ISO-8859-1编码转换为GBK编码。
  1. 创建一个`parsel.Selector`对象,用于解析HTML内容。

  2. 从HTML中选择所有满足条件的元素:

  • 使用CSS选择器`'p spanstyle="font-family: 宋体"'`,找到所有带有`style`属性值为"font-family: 宋体"的`<span>`元素。

  • 使用XPath表达式`.//text()`,提取这些`<span>`元素内的文本内容。

  1. 遍历每个提取到的文本:
  • 打印文本内容,表示下载成功。

  • 将文本内容追加到名为'pc_biye.text'的文件中(以UTF-8编码保存)。

  1. 最后,完成了对这三个网址的文本下载操作。

完整代码如下:

python 复制代码
import requests
import parsel
import os 
url = {
    'http://www.xueshut.com/lwtimu/127966.html',
    'http://www.xueshut.com/lwtimu/127966_2.html',
    'http://www.xueshut.com/lwtimu/127966_3.html'   
}
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36'
}
for url in url:
    response = requests.get(url=url, headers=headers)
    response_decoded = response.text.encode('iso-8859-1').decode('gbk')
    selector = parsel.Selector(response_decoded)
    text = selector.css('p span[style="font-family: 宋体"]').xpath('.//text()').extract()
    for text in text:
        print(f'{text}下载成功')
        #print("\n")
        with open('pc_biye.text','a',encoding='utf-8') as f:
            f.write(text)

运行效果如下:

相关推荐
wuyk5551 天前
Spider-第14讲-表单提交与CSRF
前端·爬虫·python·elasticsearch·csrf
wuyk5553 天前
Spider-第11讲-工程化改造与可维护性
大数据·爬虫·elasticsearch·搜索引擎
wuyk5553 天前
Spider-第12讲-asyncio异步并发爬取
大数据·爬虫·elasticsearch·搜索引擎
小宋10213 天前
AI 爬虫把大学图书馆站点拖垮:按行为指纹给爬虫分类、按类发配额、用边缘缓存分层,以带宽成本结构和真实用户 P95 延迟定档
人工智能·爬虫·分类
wuyk5554 天前
Spider-第10讲-SQLite持久化与去重
数据库·爬虫·sqlite
wuyk5554 天前
Spider-第09讲-三格式落盘CSV-Excel-JSON
爬虫·python·json·excel
wuyk5555 天前
Spider-第07讲-JSON接口与正则提取
爬虫·python·json
feasibility.5 天前
一物降一物?AI逆向没有终局:REA拆App,BLA设套,LASIK清场
人工智能·爬虫·github·逆向·skill·rea
wuyk5557 天前
Spider-第03讲-HTTP速通与读懂响应
网络·爬虫·网络协议·http
xyzzklk13 天前
在Open-WebUI中提升向量化速度
网络·人工智能·爬虫·ai·语言模型·自然语言处理·安卓