【愚公系列】《数据可视化分析与实践》005-数据采集（常用数据集的获取）

💎【行业认证·权威头衔】

✔ 华为云天团核心成员：特约编辑/云享专家/开发者专家/产品云测专家

✔ 开发者社区全满贯：CSDN博客&商业化双料专家/阿里云签约作者/腾讯云内容共创官/掘金&亚马逊&51CTO顶级博主

✔ 技术生态共建先锋：横跨鸿蒙、云计算、AI等前沿领域的技术布道者

🏆【荣誉殿堂】

🎖 连续三年蝉联"华为云十佳博主"（2022-2024）

🎖 双冠加冕CSDN"年度博客之星TOP2"（2022&2023）

🎖 十余个技术社区年度杰出贡献奖得主

📚【知识宝库】

覆盖全栈技术矩阵：

◾ 编程语言：.NET/Java/Python/Go/Node...

◾ 移动生态：HarmonyOS/iOS/Android/小程序

◾ 前沿领域：物联网/网络安全/大数据/AI/元宇宙

◾ 游戏开发：Unity3D引擎深度解析

文章目录

🚀前言
🚀一、常用数据集的获取
- 🔎1.常用数据集
- - [🦋1.1 开源数据集平台](#🦋1.1 开源数据集平台)
  - - ☀️天池数据集
    - ☀️北京大学开放研究数据平台
    - [☀️CnOpenData 数据平台](#☀️CnOpenData 数据平台)
    - [☀️Kaggle 数据集](#☀️Kaggle 数据集)
    - [☀️AWS Open Data Registry](#☀️AWS Open Data Registry)
  - [🦋1.2 行业和领域特定数据集](#🦋1.2 行业和领域特定数据集)
- 🔎2.数据集获取方法
- - [🦋2.1 在线下载](#🦋2.1 在线下载)
  - [🦋2.2 API调用](#🦋2.2 API调用)
  - [🦋2.3 Web爬虫](#🦋2.3 Web爬虫)

🚀前言

数据采集是数据分析和可视化的前提和基础。本章主要介绍数据的来源和数据采集方法，并提供一些常用数据集的获取方法。

🚀一、常用数据集的获取

公开数据集是指由个人、组织或机构（如政府、大学、研究实验室或公司）收集、整理、标注并公开发布的数据集合，可供公众或特定社区访问、下载和使用。对于数据科学、人工智能研究和各类数据分析工作而言，公开数据集是至关重要的资源。通过使用公开数据集，研究人员、学生和开发者可以节省大量本需用于数据收集、清洗和标注的时间与精力，从而能够专注于方法研究、算法验证和应用开发，显著加速研究进程并推动技术发展。

公开数据集的来源多种多样，包括政府机构、科研机构、企业、学术组织等。这些数据集可能包含结构化数据 （如表格、数据库）、非结构化数据 （如文本、图像、音频、视频）或混合类型 的数据。在使用公开数据集时，用户必须仔细阅读并遵守相关的使用许可协议（License Agreement）和法律法规，尊重数据集创建者的知识产权，遵守数据使用的伦理和法律规范，特别要注意保护个人隐私和商业秘密，不得将数据用于协议禁止的用途。

互联网上提供的常用公开数据集主要来源于以下几个渠道：政府及公共机构开放数据平台 、学术研究机构和大学 、商业数据提供商 、互联网公司和社交媒体平台 以及专业的数据分享平台。本节将系统介绍常见的公开数据集平台与资源，并概述获取这些数据集的主要方法。

🔎1.常用数据集

无论是训练机器学习模型、验证数据分析算法，还是进行探索性数据分析，都离不开高质量的数据集。然而，如何发现并获取这些经过精心整理和标注的数据集，是每个数据工作者必须面对的问题。这里将介绍一些国内外常用且权威的开源数据集平台，以及各行业和领域内的经典特定数据集。

🦋1.1 开源数据集平台

开源数据集平台是数据共享生态的核心枢纽，它们提供集中化的数据发布、检索、访问与管理服务。这些平台通常由政府、顶尖学术机构、大型科技企业或活跃的开发者社区运营，旨在促进数据的开放、共享与再利用，推动跨学科的科研创新和产业应用。平台上的数据集覆盖领域广泛，格式规范，通常附带详细的文档说明，是进行数据科学项目、学术研究和教学实践的理想起点。

以下是一些在国内外享有盛誉、资源丰富的开源数据集平台。

☀️天池数据集

天池数据集是阿里巴巴集团旗下的天池平台对外开放的科研数据平台，依托阿里丰富的业务场景和海量数据，提供高质量的实战数据集。

涵盖领域：覆盖电商、互联网金融、数字娱乐、智慧物流、医疗健康、智能交通、工业制造、自然科学、新能源等多个核心行业与前沿领域。
涉及技术：数据集紧密围绕数据挖掘、机器学习、计算机视觉、自然语言处理、时空序列分析等热门技术方向。
数据集分类 ：
- 官方数据集：由天池官方发布和维护，通常用于长期的研究和教学。
- 打榜数据集：与天池平台举办的算法竞赛相结合，用于评估参赛模型性能。
- 聚合数据集：对多源数据进行整合处理后的数据集。
- 公共数据集：由社区用户贡献和分享的数据集。
平台特色：不仅支持数据下载，还提供在线的Notebook开发环境（DSW），允许用户直接在云端进行数据分析与模型开发，降低了使用门槛。平台社区活跃，围绕数据集常有丰富的技术讨论和优秀方案分享。

图2-2 天池数据集平台界面示例

☀️北京大学开放研究数据平台

北京大学开放研究数据平台是一个旨在促进中国学术数据开放共享的权威基础设施。

核心定位 ：为北大及国内的研究者提供专业的研究数据管理 、持久化存储 和公开发布 服务，鼓励科学数据的开放与共享；同时为数据使用者提供便捷的数据浏览、检索、下载和引用服务。
高级功能：平台集成了多项增强功能以提升科研效率，包括数据在线预览与基础统计分析、数据格式在线转换、数据子集按需拆分、交互式数据可视化展示、精细化数据变量搜索、以及数据与衍生学术出版物的关联查询等。
数据资源 ：平台汇聚了众多高质量、跨学科的精品数据资源，例如：
- 北京大学中国调查数据资料库：包含多项大型社会调查数据。
- 中国家庭追踪调查（CFPS）：长期追踪中国家庭与个体的综合性社会调查。
- 中国健康与养老追踪调查（CHARLS）：关注中国中老年人健康的长期追踪调查。
- 北京大学可视化与可视分析研究组发布的科研数据。
- 北京大学生物信息学中心提供的基因组学等相关数据。

图2-3 北京大学开放研究数据平台界面示例

☀️CnOpenData 数据平台

CnOpenData数据平台是一个专注于中国经济、社会与商业研究的综合性数据服务平台，以其数据的深度、广度和学术严谨性著称。

覆盖维度：横跨经济、金融、会计、法律、医疗、公共管理、新闻传播、历史人文等多个学科。
服务特色 ：除提供标准化数据产品外，还支持基于用户特定研究需求的个性化数据定制服务。
专题数据库 ：平台构建了数十个大型专题数据库，形成系列化产品，包括但不限于：
- 专利数据：海量中国及全球专利全文与引用信息。
- 上市公司数据：中国A股、港股、美股上市公司的财务、治理、文本（年报、公告）数据。
- 工商注册数据：全国企业工商信息、股权结构、知识产权数据。
- 土地数据：土地交易、规划、利用数据。
- 政府数据：政府采购、财政预算、官员信息等。
- 分地区数据：详尽的国家、省、市、县各级社会经济统计面板数据。
数据价值：其数据以结构严谨、覆盖面广、时间序列长、学术研究导向明确而备受高校和研究机构青睐。

图2-4 CnOpenData数据平台界面示例

☀️Kaggle 数据集

Kaggle数据集是全球最大的数据科学和机器学习社区------Kaggle平台的重要组成部分。

平台生态：Kaggle不仅是一个数据集仓库，更是一个集竞赛、代码分享（Kernels/Notebooks）、课程学习和职业发展于一体的综合性社区。
数据集特色：提供了极其丰富的公开数据集，涵盖金融、医疗、计算机视觉、自然语言处理、社会科学、体育、游戏等几乎所有你能想到的领域。许多数据集由社区成员上传和维护。
核心优势 ：
- 社区驱动：每个数据集都配有讨论区，用户可提问、分享分析思路和代码。
- 代码伴随：大量数据集附有社区用户编写的Notebook（代码笔记本），展示了从数据清洗、探索性分析到建模的全过程，极具学习价值。
- 实战导向：许多数据集直接来源于现实问题或过去的竞赛题目，非常适合用于练手和构建作品集。

图2-5 Kaggle数据集平台界面示例

☀️AWS Open Data Registry

AWS开放数据注册表是亚马逊云科技发起的一项宏大计划，旨在通过对海量有价值的数据集提供免费的云存储和访问服务，来降低数据使用门槛，激发创新。

运作模式：AWS与数据提供者合作，将数据集存储在Amazon S3上，并统一注册到这个目录中。任何人均可通过AWS服务（如EC2, Athena, SageMaker）或直接HTTP链接，高效、低成本地访问和分析这些数据，无需自行下载和存储庞大数据。
数据集特点 ：包含许多在其他地方难以获取的超大规模数据集 和专业领域数据集 ，例如：
- 地理空间数据：卫星影像、气象气候模型数据、地质勘探数据。
- 生命科学数据：基因组学、蛋白质组学、生物医学影像数据。
- 互联网档案：Common Crawl网页存档数据。
- 天文数据：星表、望远镜观测数据。
适用场景 ：特别适合需要进行PB级大数据分析 、流式处理或希望将计算任务直接移至数据所在位置（避免数据传输）的研究人员和工程师。

图2-6 AWS Open Data Registry界面示例

🦋1.2 行业和领域特定数据集

行业和领域特定数据集是针对特定垂直应用场景和需求而构建的，具有高度的专业性 、针对性 和应用导向性。它们为领域内的研究人员和从业者提供了标准化的基准数据，用于算法开发、性能评估和应用落地。

这类数据集主要有以下特点：

专业性：聚焦于特定行业或领域，如医疗影像诊断、自动驾驶、金融风控、零售推荐、语音识别等，数据特征和应用目标明确。
高质量：通常经过领域专家的严格筛选、清洗和精细标注（如 bounding box、语义分割掩膜、疾病标签、情感极性等），确保数据的准确性和可靠性。
基准性：许多经典数据集已成为衡量该领域算法性能的"金标准"或基准测试集，如ImageNet之于图像分类。
隐私与安全：特别是在医疗、金融等涉及个人隐私和商业机密的领域，数据集的发布和使用通常伴随着严格的伦理审查、数据脱敏措施和受限的访问协议。

以下是一些在全球范围内具有里程碑意义的行业和领域特定数据集：

ImageNet：计算机视觉领域的基石数据集，包含超过1400万张按WordNet层次结构分类标注的图像，其举办的ILSVRC竞赛深度推动了深度学习革命。
COCO (Common Objects in Context) ：用于目标检测 、实例分割 和图像描述生成的大型复杂数据集，以场景复杂、目标小、实例众多著称。
MNIST ：手写数字识别领域的经典入门数据集，包含6万张训练图和1万张测试图，因其简单、干净而成为机器学习算法的"Hello World"。
千言数据集：由百度联合中国计算机学会自然语言处理专委会推出的中文开源数据集集合，涵盖阅读理解、文本分类、对话生成、语义匹配等多个自然语言处理任务，旨在推动中文NLP技术的发展。

除了上述由学术机构和科技公司发布的专业数据集，政府及公共机构开放数据平台也是一个极其重要且权威的数据来源。这些平台提供的数据覆盖国民经济、社会发展、环境监测、公共安全等宏观领域，数据经过官方统计和校验，具有极高的权威性和可靠性。例如：

中国政府网·数据开放平台：整合各部门和地方政府的开放数据。
国家统计局·国家数据：中国最权威的宏观经济与社会发展统计数据门户。
香港政府数据一站通：香港特区政府的开放数据平台。
Data.gov：美国联邦政府开放数据门户。
NYC Open Data：纽约市政府开放数据平台，包含城市运行的方方面面数据。

🔎2.数据集获取方法

获取公开数据集主要有三种途径，用户可以根据数据集的发布形式、自身的技术能力和项目的实时性需求来选择最合适的方法。

🦋2.1 在线下载

在线下载是获取静态数据集最直接、最普遍的方法。绝大多数公开数据集平台都提供此方式。

操作方式 ：
1. 通过官方网站或开源社区下载：访问前述的Kaggle、天池、政府数据平台等，在目标数据集的页面找到"Download"或"下载"按钮。通常可能需要简单的注册或登录。数据格式一般为ZIP、CSV、JSON等压缩或通用格式。
2. 使用搜索引擎查找并下载：使用Google、百度等搜索引擎，通过组合关键词（如"COVID-19 dataset CSV"、"sentiment analysis dataset Chinese"）进行搜索，可以直接找到相关数据集的发布页面或下载链接。这对于寻找特定小众领域的数据集非常有效。
注意事项 ：下载前务必阅读数据使用许可，了解数据的用途限制、署名要求等。同时注意检查数据集的版本和更新日期。

🦋2.2 API调用

API调用是一种程序化 、自动化 获取数据的方式，尤其适用于需要实时数据 、增量数据或希望将数据获取流程集成到自身应用中的场景。

适用对象：许多互联网服务提供商、社交媒体平台（Twitter、微博）、金融市场数据商、天气服务等都会提供官方API。
工作流程：开发者需要先注册获取API密钥（API Key），然后按照API文档的说明，编写代码发送HTTP请求到指定的API端点（Endpoint），并解析返回的JSON或XML格式的数据。
优点：数据获取自动化、可实时更新。
限制：几乎所有API都有调用频率限制 、每日配额 或访问权限分级。商业API通常需要付费。使用时必须严格遵守服务条款。

🦋2.3 Web爬虫

Web爬虫是一种在没有官方API 或现有数据集不满足需求时，从网页上自动化抓取和提取数据的强大技术。

基本原理：编写程序（爬虫脚本）模拟浏览器行为，自动访问目标网页，下载HTML代码，然后通过解析HTML结构（使用XPath、CSS选择器等）定位并提取所需的结构化信息，存储到本地文件或数据库中。
技术要求 ：需要使用者具备一定的编程能力（常用Python的Scrapy、BeautifulSoup、Requests库）和对网页结构（HTML, DOM）的理解。
法律与道德准则 ：这是最关键的部分。实施爬虫前必须：
1. 检查网站的robots.txt文件，尊重其禁止爬取的规则。
2. 评估爬取行为是否会对方网站服务器造成过大压力（需设置合理的请求延迟）。
3. 严格遵守相关法律法规，不得爬取个人隐私信息、受版权保护的内容或用于非法用途。
4. 确保数据的使用目的不违反网站的用户协议。

对于初学者和大多数研究应用，优先从公开数据集平台在线下载 是最安全、最高效的方式。当需要与动态服务集成时，探索官方API 。Web爬虫 则是最后的手段，应在充分理解法律风险和技术要求后谨慎使用。无论采用哪种方法，尊重数据版权、遵守使用协议、保护用户隐私都是不可逾越的红线。在开始任何数据项目前，花时间寻找和评估一个高质量、合规的数据集，将为后续所有工作奠定坚实的基础。