第四章描述性统计分析
概述
统计学解决问题的步骤:收集数据、处理数据、分析数据、解释数据。
收集数据是数据分析的前提,直接来源的数据是一手数据,间接来源的数据是二手数据。
调查和实验的区别:调查强调的是不对数据对象进行干扰,任其自然发展,收集发展过程中的数据;实验强调的是有目的的对数据对象进行因素干扰,从而验证这些因素对数据对象是否产生影响,以及产生何种影响。
处理数据:包括将收集的数据进行数据编码、数据库搭建、数据录入、数据审核(包括数据完整性、准确性、时效性、适用性等。)按照研究问题的需要进行数据筛选、数据分组、数据分割、数据合并、数据变形、数据转换等;并进行数据质量评估、数据特征分析、数据可视化分析等探索性分析;这主要是数据清洗岗位的工作。
分析数据:是数据分析师的核心工作。数据分析方法分两大类,描述性统计分析方法和推断性统计分析方法。
描述性统计分析方法:结合数据,对实际问题进行分布特征的描述,也称数据分布特征的描述性分析方法。
推断性统计分析方法:根据掌握的样本数据对总体进行估计或检验,侧重于对总体特征的估计或检验推断,即包括参数估计、假设检验。
参数估计:当总体信息未知时,通过抽取样本来估计总体信息。
假设检验:假设知晓总体某个信息,但无法确认信息是否正确,因此需要抽取样本信息进行假设检验。
注意:部分人认为预测也是推断性统计分析方法中的一种。原因是估计和预测的不同,估计时,总体是存在的、确定的、未知的,即对一个已经发生的事物状态进行估计。预测时,预测的情况是不存在的、不确定的、未知的,即对一个未发生的事物进行预测。两者一个是事后估计,一个是事前预测,本质不同。
复杂数据分析方法:以基本数据分析方法为基础,常结合某类具体问题、某类特殊数据、某类特殊对象等,融合描述性统计分析方法和推断性统计分析方法。例如:相关分析、时间序列分析、生存分析。
解释数据:统计学最后的环节,连接分析数据与解决实际问题的重要桥梁。