文献来源:[1] Oneto L , Bisio F , Cambria E ,et al.Statistical Learning Theory and ELM for Big Social Data Analysis[J].IEEE Computational Intelligence Magazine, 2016, 11(3):45-55.DOI:10.1109/MCI.2016.2572540.
提取链接:链接:https://pan.baidu.com/s/1BF9m4GGzrSrnZlULnyzm-g
提取码:nupf
大社会数据分析是一个研究领域,专注于收集、检查和处理大型多模态和多源数据集,以发现模式/相关性并从社会网络中提取信息。这通常是通过使用计算成本高昂的监督和无监督机器学习算法来完成的,这些算法从可用数据中学习(例如,支持向量机- svm,人工神经网络- ann, k近邻- knn和随机森林- rf),而这些算法无法做到这一点处理当前数据卷。为了提高处理速度,已经提出了并行方法,但这显然需要支持分布式计算的技术。
**极限学习机(Extreme learning machine, ELM)**是一种新兴的学习范式,为广义前馈神经网络提供了一种高效的统一解决方案。然而,与人工神经网络不同的是,由于存在伪逆计算,ELM不容易并行化。因此,本文旨在寻找一种可靠的方法来实现ELM的并行实现,该方法可以应用于典型的大数据问题的大数据集。在中可以找到基于MapReduce框架的并行ELM实现回归的示例,而为在线顺序ELM变体提供了并行集成方法。
几种利用多层并行性的技术(例如,多核,多核,GPU,集群等)目前可用。Spark与云计算相结合,是高性能并行计算的最先进框架,旨在有效处理递归地对相同数据执行操作的迭代计算过程,如监督机器学习算法。
除了有效地建立监督学习模型和可扩展的算法,**大数据中的另一个重要问题是如何有效和高效地评估预测模型的性能。**数据驱动模型利用非参数推理,期望有效的模型直接来自数据,不需要对模型族进行任何假设,也不需要数据集本身之外的任何其他信息。随着大数据时代的到来,这种方法越来越受欢迎,人们相信,通过简单地收集更大量的数据,可以生成具有所需准确性的有效预测模型(参见[21],作为一个例子,关于这种具有煽动性和不准确但不幸的是,普遍存在的信念的一些见解)。
统计学习理论(SLT)解决了评估预测模型性能的问题,它试图找到非参数推理的必要和充分条件,以便从数据中构建预测模型,或者用SLT的语言来说,从数据中学习最优模型。长期以来,SLT被认为只是一个理论上的统计框架,尽管它非常健全和深入,但对实际问题没有任何真正的适用性。在过去十年中,该领域取得了重要进展,研究表明,SLT可以提供实用的答案,至少在针对数据驱动模型的推理进行分类时是如此。
近年来,越来越多的群众意见和情绪通过社交网络、网络社区、博客、维基等网络协同媒体公开表达。这深刻地改变了人们分享知识和交流经验的方式。因此,从大量的意见中提炼有用的信息是营销人员试图在客户心目中创造产品、品牌或组织形象或身份的关键工具。这导致了情感分析领域的深入发展,该领域涉及使用数据挖掘和自然语言处理(NLP)技术从文本中检索信息和发现知识。
社会大数据分析的主要方法大致可分为两类:基于知识的技术和统计方法。前者主要利用本体、词汇、语义网络或模式,后者则逐渐转向采用ELM、深度学习和卷积神经网络(CNN)。