python爬虫试手

同事让帮忙在某个网站爬点数据,首次尝试爬虫,遇到的问题及解决思路记录下。

大体需求是需要爬取详情页内的信息,详情页有一定格式规律,但是详情页需要从列表页跳入,列表页中的每一条记录需要鼠标悬停才会弹出跳转链接,点击后才可跳转,然后将数据存在excel中,一个个解决吧。

第一步是先爬取详情页的数据,发现页面数据是js渲染出来的,直接用请求获取不到信息,于是使用selenium来模拟浏览器实际请求,然后需要的各个标签值也都没有id,就根据class来获取值的列表,具体方法为

python 复制代码
from selenium import webdriver

        strurl = 'https://xxxxxxxx?id='+stri
        browser = webdriver.Chrome()
        try:
            browser.get(strurl)
            item1 = browser.find_elements(by=By.CLASS_NAME, value="xxxxxxxx")
            item2 = browser.find_elements(by=By.CLASS_NAME, value="yyyyyyyy")
            item3 = browser.find_elements(by=By.CLASS_NAME, value="zzzzzzzz")

            # text='\n'+'基本信息:'+'\n'
            # for str1,str2 in zip(item1,item2):
            #   print(str1.text ,":",str2.text)
            #   text+=str1.text + ":"+ str2.text+'\n' #加入到字符串中,并换行
            #
            # for str in item3:
            #   text+='\n'+"使用案例:" + str.text+'\n' #加入到字符串中,并换行
            #   print(str.text+ '\n')

        finally:
            browser.close()

获取到需要的值,然后需要把值放到excel中,使用openpyxl 将获取到的值拼成一行追加到excel中,具体方法如下:

python 复制代码
from openpyxl import load_workbook

            # 打开 Excel 文件
            wb = load_workbook('test.xlsx')

            # 选择要操作的工作表
            ws = wb['Sheet2']
            new_data = []
            for str2 in item2:
                new_data.append(str2.text)

            for str in item3:
                new_data.append(str.text)
            # 在最后一行添加数据
            ws.append(new_data)

            # 保存文件
            wb.save('test.xlsx')

这样单详情页的内容可以搞到excel中了,需要搞抓所有记录的问题,因为列表页首先也是js渲染出来的,还有需要模拟悬停才能弹出跳转链接,研究了下详情页的url,都是xxx?id=aaa,这个aaa虽然是int,但是也没规律,随便找了几个值找不到对应页面的时候会报错,但是列表请求页可以看到对于列表的分页请求,相应为json格式,有个列表包含各个对象的id值,整好就是详情页的id值,那就这么搞把,列表信息通过这个请求模拟,然后从相应里取各个id,遍历跳转,一开始尝试了将列表请求跟遍历详情页拼在一个方法里,但是报"TypeError: 'WebElement' object is not callable"这个错,反正是自己用的小工具,先解决需求就行,分俩方法,把id结果集自己拼过来当参数,整合后参考代码如下,凑合看吧

python 复制代码
{
    "code": 200,
    "message": "操作成功",
    "data": {
        "pageNum": 2,
        "pageSize": 10,
        "totalPage": 10,
        "total": 100,
        "list": [
            {
                "id": aaaa,
                "logo": "6426cb.png"
            },
            {
                "id": bbbb,
                "logo": "6426cb.png"
            }]
    },
    "requestId": "abc"
}
python 复制代码
import json



with open('searchResultP3.json', encoding='utf-8') as f:
    jsondata = json.load(f)
    jsonlist = jsondata["data"]["list"]
    datalist=[]
    for objjson in jsonlist:
        strid = str(objjson["id"])
        datalist.append(strid)
    print(datalist)
python 复制代码
from selenium import webdriver
from selenium.webdriver.common.by import By
from openpyxl import load_workbook

import json

for stri in ['aaa', 'bbb', 'ccc']:

        strurl = 'https://xxx?id='+stri
        browser = webdriver.Chrome()
        try:
            browser.get(strurl)
            item1 = browser.find_elements(by=By.CLASS_NAME, value="xxxxx")
            item2 = browser.find_elements(by=By.CLASS_NAME, value="yyyyy")
            item3 = browser.find_elements(by=By.CLASS_NAME, value="zzzzz")

            # text='\n'+'基本信息:'+'\n'
            # for str1,str2 in zip(item1,item2):
            #   print(str1.text ,":",str2.text)
            #   text+=str1.text + ":"+ str2.text+'\n' #加入到字符串中,并换行
            #
            # for str in item3:
            #   text+='\n'+"使用案例:" + str.text+'\n' #加入到字符串中,并换行
            #   print(str.text+ '\n')

            # 打开 Excel 文件
            wb = load_workbook('test.xlsx')

            # 选择要操作的工作表
            ws = wb['Sheet2']
            new_data = []
            for str2 in item2:
                new_data.append(str2.text)

            for str in item3:
                new_data.append(str.text)
            # 在最后一行添加数据
            ws.append(new_data)



            # 保存文件
            wb.save('test.xlsx')

        finally:
            browser.close()
相关推荐
liulilittle9 分钟前
深度剖析:OPENPPP2 libtcpip 实现原理与架构设计
开发语言·网络·c++·tcp/ip·智能路由器·tcp·通信
88号技师16 分钟前
2025年6月一区-田忌赛马优化算法Tianji’s horse racing optimization-附Matlab免费代码
开发语言·算法·matlab·优化算法
Tipriest_17 分钟前
Python关键字梳理
python·关键字·keyword
勤奋的知更鸟22 分钟前
Java 编程之模板方法模式
java·开发语言·模板方法模式
上单带刀不带妹1 小时前
手写 Vue 中虚拟 DOM 到真实 DOM 的完整过程
开发语言·前端·javascript·vue.js·前端框架
im_AMBER2 小时前
学习日志05 python
python·学习
大虫小呓2 小时前
Python 处理 Excel 数据 pandas 和 openpyxl 哪家强?
python·pandas
哪 吒2 小时前
2025B卷 - 华为OD机试七日集训第5期 - 按算法分类,由易到难,循序渐进,玩转OD(Python/JS/C/C++)
python·算法·华为od·华为od机试·2025b卷
-凌凌漆-2 小时前
【Qt】QStringLiteral 介绍
开发语言·qt
程序员爱钓鱼2 小时前
Go语言项目工程化 — 常见开发工具与 CI/CD 支持
开发语言·后端·golang·gin