豆瓣影评信息爬取 (爬虫)

代码块:

bash 复制代码
from lxml import etree
import requests

headers={
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.0.0 Safari/537.36 Edg/123.0.0.0'
}

url_list=[]
for i in range(0,5):
    i*=20
    urls=f"https://movie.douban.com/review/best/?start={i}"
    url_list.append(urls)
print(url_list)

detail_urls=[]
for url in url_list:
    response=requests.get(url,headers=headers)
    # print(response.status_code)
    content = response.content.decode('utf8')
    html=etree.HTML(content)
    detail_url = html.xpath('//div[@class="main-bd"]/h2/a/@href')
    detail_urls.append(detail_url)
    # print(detail_urls)
    # break

movies=[]
i=0
# 循环豆瓣网页的每一页
for page in detail_urls:
    # 循坏这页的网页每个连接
    for url in page:
        try:
            response=requests.get(url,headers=headers)
            content=response.content.decode('UTF-8')
            html=etree.HTML(content)
            # 抓取电影名
            # // *[ @ id = "content"] / div / div[2] / div[4] / div[2] / a
            title=html.xpath('//div[@class="subject-title"]/a/text()')[0][2:]
            # 抓取评论者和评分
            commenter=html.xpath('//header/a/span/text()')[0]
            rank=html.xpath('//heafer//span/@title')
            # 抓影评
            comment=html.xpath('//div[@id="link-report"]//p/text()')
            comment=''.join(comment)
            movie={
                "title":title,
                "commenter":commenter,
                # "rank":rank,
                # "comment":comment
            }
            movies.append(movie)
        except:
            continue
    i+=1
    print(f"第{i}页已经爬取完毕")

print(movies)

效果:

内容解释:

  1. etree.HTML(内容):将不是html的格式的内容转换成html

  2. etree.tostring(内容,encoding='UTF-8').decode('UTF-8'):如果不是UTF-8编码格式的内容,这里可以更改成UTF-8的内容

  3. etree.parse(文件路径):parse对html导入python并解析

  4. 自定解析器:

    如果在浏览器上保存网页到本地,在python中获取.html文件需要利用自定解析器来解析文件内容

python 复制代码
# 自定解析器
parser=etree.HTMLParser(encoding='UTF-8')
html=etree.parse(路径,parser=parser)
result=etree.tostring(html,encoding='UTF-8').decode('UTF-8')

xpath中的[1]表示第一个元素,而python中的第一个是从0开始,例如:[0]

相关推荐
Tech Synapse12 小时前
Python网络爬虫实践案例:爬取猫眼电影Top100
开发语言·爬虫·python
数据小爬虫@14 小时前
利用Python爬虫获取淘宝店铺详情
开发语言·爬虫·python
B站计算机毕业设计超人20 小时前
计算机毕业设计SparkStreaming+Kafka新能源汽车推荐系统 汽车数据分析可视化大屏 新能源汽车推荐系统 汽车爬虫 汽车大数据 机器学习
数据仓库·爬虫·python·数据分析·kafka·数据可视化·推荐算法
易辰君1 天前
【Python爬虫实战】深入解析 Scrapy 爬虫框架:高效抓取与实战搭建全指南
开发语言·爬虫·python
风动也无爱1 天前
Java的正则表达式和爬虫
java·爬虫·正则表达式
数据小爬虫@1 天前
如何利用Python爬虫精准获得1688店铺的所有商品信息
开发语言·爬虫·python
好看资源平台1 天前
动态网站数据爬取——Selenium的使用
爬虫·python
兆。2 天前
python实战案例----使用 PyQt5 构建简单的 HTTP 接口测试工具
爬虫·python·qt
吖吖耶3332 天前
【Python爬虫】Scrapy框架实战
爬虫·python·scrapy
Token_w2 天前
Python爬虫进阶实战项目:使用青果网代理高效爬取某手办网详情数据
大数据·网络·爬虫·python·tcp/ip·tcp