爬虫笔记12——网页爬取数据写入json文件

Yima_Dangxian2024-06-24 10:12

json数据格式介绍

JSON全称为JavaScript Object Notation，也就是JavaScript对象标记，它通过对象和数组的组合来表示数据，构造简洁但是结构化程度非常高，是一种轻量级的数据交换格式。该笔记中，我们就来了解如何利用Python保存数据到JSON文件。

python中的json库

直接导入该模块:

python 复制代码

import json

方法	作用
json.dumps()	把python对象转换成json对象，生成的是字符串。
json.dump()	用于将dict类型的数据转成str，并写入到json文件中

爬虫案例 - 4399网站游戏信息采集

python 复制代码

import json
import requests
from lxml import etree


def spider_4399(url):
    response = requests.get(url).content.decode('gbk')
    # print(response)
    tree = etree.HTML(response)
    # print(tree)
    gameLists = tree.xpath("//ul[@class='tm_list']/li/a")
    gameDicts = dict()
    result = list()
    # print(gameLists)
    for temp in gameLists:
        gameDicts['game'] = temp.xpath('./text()')[0]
        gameDicts['url'] = temp.xpath('./@href')[0]
        result.append(gameDicts)
    with open('./game.json', 'w', encoding='utf-8') as f:
        f.write(json.dumps(result, indent=2, ensure_ascii=False))
    print('程序结束！')



url = 'https://www.4399.com/'
spider_4399(url)