爬虫小案例csv写入

复制代码

1.csv简单小案例

python 复制代码
import csv

header = ['姓名', '年龄', '性别']
data = [
    ['张三', 25, '男'],
    ['李四', 35, '女']
]
# newline=''消除空行
with open('数据写入.csv', 'w', encoding='gbk', newline='')as f:
    # 第一步 实例化写入对象
    w = csv.writer(f)
    # 第二部写入表头
    w.writerow(header)
    # 第三步 写入多行数据
    w.writerows(data)

    # PermissionError: [Errno 13] Permission denied: '数据写入.csv'
    # 文件未关闭

2.实战-腾讯招聘信息(仅供学习考)

python 复制代码
import requests, jsonpath, time, csv


class Start(object):
    # 类实例化时会执行
    def __init__(self):
        self.headers = {
            'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36'
        }
        self.sum_list = []
        self.h = [
            '招聘职位',
            '国家',
            '地区',
            '类别',
            '任务',
            '最新日期',
            '工作需求'
        ]

    def get_html(self, index):
        print(f'当前页数{index}============')
        url = f'https://careers.tencent.com/tencentcareer/api/post/Query?timestamp={int(time.time() * 1000)}&countryId=&cityId=&bgIds=&productId=&categoryId=40001001&parentCategoryId=&attrId=&keyword=&pageIndex={index}&pageSize=10&language=zh-cn&area='
        response = requests.get(url, headers=self.headers)
        # 提取数据
        json_data = response.json()  # 将响应当中的内容取成json格式  字典   列表

        # 解析数据
        RecruitPostName = jsonpath.jsonpath(json_data, '$..RecruitPostName')  # 匹配时不能有空格
        CountryName = jsonpath.jsonpath(json_data, '$..CountryName')
        LocationName = jsonpath.jsonpath(json_data, '$..LocationName')
        CategoryName = jsonpath.jsonpath(json_data, '$..CategoryName')
        Responsibility = jsonpath.jsonpath(json_data, '$..Responsibility')
        LastUpdateTime = jsonpath.jsonpath(json_data, '$..LastUpdateTime')
        RequireWorkYearsName = jsonpath.jsonpath(json_data, '$..RequireWorkYearsName')
        # 整合数据
        for i in zip(RecruitPostName, CountryName, LocationName, CategoryName, Responsibility, LastUpdateTime,
                     RequireWorkYearsName):
            lis = [i[0],
                   i[1],
                   i[2],
                   i[3],
                   i[4].replace('\r', '').replace('\n', ''),
                   i[5],
                   i[6]]
            self.sum_list.append(lis)

    def save_csv(self):
        # print(self.sum_list)
        with open('腾讯招聘.csv', 'w', encoding='gbk', newline='')as f:
            # 第一步 实例化写入对象
            w = csv.writer(f)
            # 第二部写入表头
            w.writerow(self.h)
            # 第三步 写入多行数据
            w.writerows(self.sum_list)


if __name__ == '__main__':
    s = Start()  # 实例化类对象
    for index in range(1, 11):
        s.get_html(index)

        s.save_csv()

3.当当网书籍信息,上传到资源

相关推荐
Luck_ff08109 小时前
【Python爬虫详解】第四篇:使用解析库提取网页数据——BeautifuSoup
开发语言·爬虫·python
天天扭码17 小时前
什么?2025年了还在写传统爬虫!来试试更有爽感的AI爬虫 ψ(`∇´)ψ
爬虫·node.js·ai编程
梯度寻优者_超17 小时前
获取房源信息并完成可视化——网络爬虫实战1
爬虫
MinggeQingchun1 天前
Python - 爬虫-网页解析数据-库lxml(支持XPath)
爬虫·python·xpath·lxml
kadog1 天前
PubMed PDF下载 cloudpmc-viewer-pow逆向
前端·javascript·人工智能·爬虫·pdf
nongcunqq1 天前
爬虫练习 js 逆向
笔记·爬虫
一个天蝎座 白勺 程序猿1 天前
Python爬虫(5)静态页面抓取实战:requests库请求头配置与反反爬策略详解
开发语言·爬虫·python
iuhart1 天前
chromedp 反反爬设计方案
爬虫
橘猫云计算机设计1 天前
net+MySQL中小民营企业安全生产管理系统(源码+lw+部署文档+讲解),源码可白嫖!
数据库·后端·爬虫·python·mysql·django·毕业设计
爱吃泡芙的小白白1 天前
爬虫学习——使用HTTP服务代理、redis使用、通过Scrapy实现分布式爬取
redis·分布式·爬虫·http代理·学习记录