爬虫小案例csv写入

复制代码

1.csv简单小案例

python 复制代码
import csv

header = ['姓名', '年龄', '性别']
data = [
    ['张三', 25, '男'],
    ['李四', 35, '女']
]
# newline=''消除空行
with open('数据写入.csv', 'w', encoding='gbk', newline='')as f:
    # 第一步 实例化写入对象
    w = csv.writer(f)
    # 第二部写入表头
    w.writerow(header)
    # 第三步 写入多行数据
    w.writerows(data)

    # PermissionError: [Errno 13] Permission denied: '数据写入.csv'
    # 文件未关闭

2.实战-腾讯招聘信息(仅供学习考)

python 复制代码
import requests, jsonpath, time, csv


class Start(object):
    # 类实例化时会执行
    def __init__(self):
        self.headers = {
            'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36'
        }
        self.sum_list = []
        self.h = [
            '招聘职位',
            '国家',
            '地区',
            '类别',
            '任务',
            '最新日期',
            '工作需求'
        ]

    def get_html(self, index):
        print(f'当前页数{index}============')
        url = f'https://careers.tencent.com/tencentcareer/api/post/Query?timestamp={int(time.time() * 1000)}&countryId=&cityId=&bgIds=&productId=&categoryId=40001001&parentCategoryId=&attrId=&keyword=&pageIndex={index}&pageSize=10&language=zh-cn&area='
        response = requests.get(url, headers=self.headers)
        # 提取数据
        json_data = response.json()  # 将响应当中的内容取成json格式  字典   列表

        # 解析数据
        RecruitPostName = jsonpath.jsonpath(json_data, '$..RecruitPostName')  # 匹配时不能有空格
        CountryName = jsonpath.jsonpath(json_data, '$..CountryName')
        LocationName = jsonpath.jsonpath(json_data, '$..LocationName')
        CategoryName = jsonpath.jsonpath(json_data, '$..CategoryName')
        Responsibility = jsonpath.jsonpath(json_data, '$..Responsibility')
        LastUpdateTime = jsonpath.jsonpath(json_data, '$..LastUpdateTime')
        RequireWorkYearsName = jsonpath.jsonpath(json_data, '$..RequireWorkYearsName')
        # 整合数据
        for i in zip(RecruitPostName, CountryName, LocationName, CategoryName, Responsibility, LastUpdateTime,
                     RequireWorkYearsName):
            lis = [i[0],
                   i[1],
                   i[2],
                   i[3],
                   i[4].replace('\r', '').replace('\n', ''),
                   i[5],
                   i[6]]
            self.sum_list.append(lis)

    def save_csv(self):
        # print(self.sum_list)
        with open('腾讯招聘.csv', 'w', encoding='gbk', newline='')as f:
            # 第一步 实例化写入对象
            w = csv.writer(f)
            # 第二部写入表头
            w.writerow(self.h)
            # 第三步 写入多行数据
            w.writerows(self.sum_list)


if __name__ == '__main__':
    s = Start()  # 实例化类对象
    for index in range(1, 11):
        s.get_html(index)

        s.save_csv()

3.当当网书籍信息,上传到资源

相关推荐
南玖yy2 小时前
Python网络爬虫:从入门到实践
爬虫·python
莓事哒4 小时前
selenium和pytessarct提取古诗文网的验证码(python爬虫)
爬虫·python·selenium·测试工具·pycharm
q567315235 小时前
使用puppeteer库编写的爬虫程序
爬虫·python·网络协议·http
eqwaak05 小时前
量子计算与AI音乐——解锁无限可能的音色宇宙
人工智能·爬虫·python·自动化·量子计算
莓事哒8 小时前
使用pytesseract和Cookie登录古诗文网~(python爬虫)
爬虫·python·pycharm·cookie·pytessarct
Python大数据分析@1 天前
python 常用的6个爬虫第三方库
爬虫·python·php
不靠谱程序员1 天前
"白描APP" OCR 软件 API 逆向抓取
后端·爬虫
卑微小文1 天前
消费金融用户画像构建:代理 IP 整合多维度信息
爬虫·数据挖掘·数据分析
攻城狮7号1 天前
【第一节】Python爬虫基础-HTTP基本原理
爬虫·python·python爬虫
月走乂山1 天前
nocobase + Python爬虫实现数据可视化
爬虫·python·低代码·信息可视化