数据分析之数据收集

互联网自动化采集脚本------爬虫
1.什么是自动化采集的脚本 - 网络爬虫 网络蜘蛛 网络机器人

自动采集网站上我们需要的数据。

2.如何批量采集数据

爬虫:请求某一个网站的数据

(1)确定目标:请求哪一个网址?

如下是:东方财富网,实战-大A股5000+股票实时批量抓取

行情中心:国内快捷全面的股票、基金、期货、美股、港股、外汇、黄金、债券行情系统_东方财富网 (eastmoney.com)

url = '网址'

F12或者Fn+F12打开开发者工具 - Network(网络) - 刷新网页

放大镜里面搜索股票关键字 - 点击出现的数据 - headers里面有网址

(2)伪装脚本, 伪装成一个浏览器!

headers={'user-agent':'浏览器标识'}
注意: 浏览器标识就在刚才找到的网址的下面。

(3)请求网址的数据

res = requests.get(url, headers)

模块使用方法:数据=模块.功能(参数)

requests 功能get 给定网址和身份 返回给我们数据

res.text res.content res.status_code

其中:403 拒绝 404 网址不存在 500网址崩溃或者错误

实例代码:

python 复制代码
import requests   # 请求模块
import pandas     # 表格模块
import re         # 筛选模块 -- 正则表达式! python自带!
totaldata = []
for pn in range(1, 282):
    # ==============获取数据==================
    url = f'https://64.push2.eastmoney.com/api/qt/clist/get?cb=jQuery112408356224630673301_1715256225019&pn={pn}&pz=20&po=1&np=1&ut=bd1d9ddb04089700cf9c27f6f7426281&fltt=2&invt=2&wbp2u=|0|0|0|web&fid=f3&fs=m:0+t:6,m:0+t:80,m:1+t:2,m:1+t:23,m:0+t:81+s:2048&fields=f1,f2,f3,f4,f5,f6,f7,f8,f9,f10,f12,f13,f14,f15,f16,f17,f18,f20,f21,f23,f24,f25,f22,f11,f62,f128,f136,f115,f152&_=1715256225020'
    headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36 Edg/124.0.0.0'}
    res = requests.get(url, headers)
    print(res.text)

    # ================筛选数据===============
    codelist = re.findall('"f12":"(.*?)","f13"', res.text)
    namelist = re.findall('"f14":"(.*?)","f15"', res.text)
    pricelist = re.findall('"f2":(.*?),"f3"', res.text)

    # =============重新组合数据================
    for i in range(0, len(codelist)):
        datalist = [codelist[i], namelist[i], pricelist[i]]
        print(datalist)
        totaldata.append(datalist)  # 把新得到的数据汇总到总数据里面!

运行如下:

相关推荐
shansjqun27 分钟前
教学内容全覆盖:航拍杂草检测与分类
人工智能·分类·数据挖掘
SelectDB技术团队1 小时前
兼顾高性能与低成本,浅析 Apache Doris 异步物化视图原理及典型场景
大数据·数据库·数据仓库·数据分析·doris
nuclear20111 小时前
使用Python 在Excel中创建和取消数据分组 - 详解
python·excel数据分组·创建excel分组·excel分类汇总·excel嵌套分组·excel大纲级别·取消excel分组
Lucky小小吴1 小时前
有关django、python版本、sqlite3版本冲突问题
python·django·sqlite
GIS 数据栈2 小时前
每日一书 《基于ArcGIS的Python编程秘笈》
开发语言·python·arcgis
爱分享的码瑞哥2 小时前
Python爬虫中的IP封禁问题及其解决方案
爬虫·python·tcp/ip
panpantt3212 小时前
【参会邀请】第二届大数据与数据挖掘国际会议(BDDM 2024)邀您相聚江城!
大数据·人工智能·数据挖掘
statistican_ABin3 小时前
R语言数据分析案例45-全国汽车销售数据分析(可视化与回归分析)
数据挖掘·数据分析
傻啦嘿哟3 小时前
如何使用 Python 开发一个简单的文本数据转换为 Excel 工具
开发语言·python·excel
B站计算机毕业设计超人3 小时前
计算机毕业设计SparkStreaming+Kafka旅游推荐系统 旅游景点客流量预测 旅游可视化 旅游大数据 Hive数据仓库 机器学习 深度学习
大数据·数据仓库·hadoop·python·kafka·课程设计·数据可视化