pycharm爬取BOSS直聘岗位信息

编译器:Pycharm

效果展示如图

简单原理描述:模拟人工动作爬取页面信息,运行脚本后代码自动打开浏览器获取相关信息,模拟人工进行页面跳转并自动抓取页面信息记录到表格中。

深入原理描述:页面翻转的时候会调用接口,接口中含有数据信息,定义数组存储需要的信息

需要引入的包

复制代码
from DrissionPage import ChromiumPage
import csv
import time

这边模拟的是抓取浙江-建筑设计相关的岗位信息

如图总共抓取了3000多条岗位信息

代码

复制代码
from DrissionPage import ChromiumPage
import csv
import time
f = open('浙江建筑设计612.csv', mode='w', encoding='utf-8', newline='')
csv_write = csv.DictWriter(f, fieldnames=[
    '职位', '城市', '公司', '薪资', '经验', '学历', '领域', '标签', '福利'
])
csv_write.writeheader()
driver = ChromiumPage()
driver.listen.start('/wapi/zpgeek/common/data/city/site.json')
driver.get('https://www.zhipin.com/web/geek/job?query=建筑设计&city=101210400')
resp = driver.listen.wait()
time.sleep(2)
json_data = resp.response.body
print(json_data)
time.sleep(2)
areaList = json_data['zpData']['siteList']
for area in areaList:
    if area['name'] == '浙江':
        subLevelModelList = area['subLevelModelList']
        for city in subLevelModelList:
            city_code = city['code']
            city_name = city['name']
            url = f'https://www.zhipin.com/web/geek/job?query=建筑设计&city={city_code}'
            driver.listen.start('/wapi/zpgeek/search/joblist.json')
            time.sleep(2)
            driver.get(url)
            for page in range(10):  # 可根据实际情况修改页数
                time.sleep(1)
                driver.scroll.to_bottom()
                resp = driver.listen.wait()
                json_data = resp.response.body
                if json_data==None:
                    print(str(city_code) + 'fail')
                    break
                jobList = json_data['zpData']['jobList']
                for job in jobList:
                    dit = {
                        '职位': job['jobName'],
                        '城市': job['cityName'],
                        '公司': job['brandName'],
                        '薪资': job['salaryDesc'],
                        '经验': job['jobExperience'],
                        '学历': job['jobDegree'],
                        '领域': job['brandIndustry'],
                        '标签': job['skills'],
                        '福利': job['welfareList'],
                    }
                    csv_write.writerow(dit)
                    print(dit)
                element = driver.ele('css:.ui-icon-arrow-right').parent()
                print(driver.ele('css:.ui-icon-arrow-right').parent().__getattr__('class'))
                if element.__getattr__('class') is not None:
                    if 'disabled' in element.__getattr__('class'):
                        print("上一页按钮被禁用,跳出循环")
                        break
                else:
                    print("元素未找到,正常运行")
                driver.ele('css:.ui-icon-arrow-right').click()
f.close()

代码讲解:

开头定义了个csv文件供数据存储并定义了首行内容

然后打开了浏览器制定页面,获取需要的信息,为了便于其他省份的同学们查找,增强复用性,我这边是先抓取了地址areaList,然后找到对应的省份,你要找别的省份修改省名就好了。在url中设定了岗位。实现抓取某省份-某岗位的信息。

这边是对每个城市模拟了10次翻页记录

考虑了某些岗位可能某城市都没10页,设定了不足10页,比如你到了第八页没下一页了,自动退出循环进行下一个城市的查询~

总体来说操作还是比较简单的,但是如果你没有用过pycharm的话,在环境搭建上你可能会遇到一些问题,这块的话就需要查略其他资料进行解决了~

相关推荐
yanxing.D7 小时前
OpenCV轻松入门_面向python(第六章 阈值处理)
人工智能·python·opencv·计算机视觉
JJJJ_iii8 小时前
【机器学习01】监督学习、无监督学习、线性回归、代价函数
人工智能·笔记·python·学习·机器学习·jupyter·线性回归
Python图像识别11 小时前
71_基于深度学习的布料瑕疵检测识别系统(yolo11、yolov8、yolov5+UI界面+Python项目源码+模型+标注好的数据集)
python·深度学习·yolo
千码君201612 小时前
React Native:从react的解构看编程众多语言中的解构
java·javascript·python·react native·react.js·解包·解构
淮北49412 小时前
windows安装minicoda
windows·python·conda
爱喝白开水a14 小时前
LangChain 基础系列之 Prompt 工程详解:从设计原理到实战模板_langchain prompt
开发语言·数据库·人工智能·python·langchain·prompt·知识图谱
默默coding的程序猿16 小时前
3.git的分支携带问题是什么?怎么解决?
java·git·python·svn·gitee·github·intellij-idea
新子y17 小时前
【小白笔记】PyTorch 和 Python 基础的这些问题
pytorch·笔记·python
我是李武涯17 小时前
PyTorch DataLoader 高级用法
人工智能·pytorch·python
Lynnxiaowen17 小时前
今天我们开始学习python语句和模块
linux·运维·开发语言·python·学习