爬虫笔记12——网页爬取数据写入json文件

json数据格式介绍

JSON全称为JavaScript Object Notation, 也就是JavaScript对象标记,它通过对象和数组的组合来表示数据,构造简洁但是结构化程度非常高,是一种轻量级的数据交换格式。该笔记中,我们就来了解如何利用Python保存数据到JSON文件。

python中的json库

直接导入该模块:

python 复制代码
import json
方法 作用
json.dumps() 把python对象转换成json对象,生成的是字符串。
json.dump() 用于将dict类型的数据转成str,并写入到json文件中

爬虫案例 - 4399网站游戏信息采集

python 复制代码
import json
import requests
from lxml import etree


def spider_4399(url):
    response = requests.get(url).content.decode('gbk')
    # print(response)
    tree = etree.HTML(response)
    # print(tree)
    gameLists = tree.xpath("//ul[@class='tm_list']/li/a")
    gameDicts = dict()
    result = list()
    # print(gameLists)
    for temp in gameLists:
        gameDicts['game'] = temp.xpath('./text()')[0]
        gameDicts['url'] = temp.xpath('./@href')[0]
        result.append(gameDicts)
    with open('./game.json', 'w', encoding='utf-8') as f:
        f.write(json.dumps(result, indent=2, ensure_ascii=False))
    print('程序结束!')



url = 'https://www.4399.com/'
spider_4399(url)
相关推荐
science怪兽24 分钟前
【进阶】C# 委托(Delegate)知识点总结归纳
开发语言·笔记·c#
love530love2 小时前
修复笔记:获取 torch._dynamo 的详细日志信息
运维·人工智能·pytorch·笔记·python·深度学习·virtualenv
ZeroOne电平浪客2 小时前
AUTOSAR_BSW_从入门到精通学习笔记系列_EcuM
笔记·mcu·学习·汽车·autosar·普华小满
江安的猪猪3 小时前
大连理工大学选修——图形学:第二章 计算机图形硬件及绘图系统
笔记
xin007hoyo3 小时前
算法笔记.求约数
c++·笔记·算法
Data 实验室3 小时前
爬虫管理平台-最新版本发布
开发语言·爬虫·python·fastapi
智者知已应修善业4 小时前
【51单片机6位数码管显示时间与秒表】2022-5-8
c语言·c++·经验分享·笔记·单片机·算法·51单片机
碳酸的唐4 小时前
Selenium:模拟真实用户的爬虫
爬虫·selenium·测试工具
学C岁月6 小时前
BC19 反向输出一个四位数
c语言·开发语言·笔记
CodeJourney.6 小时前
Kotlin革新数据分析
人工智能·爬虫·算法·信息可视化