分布式计算

王小王-12318 天前
大数据·hadoop·分布式·分布式计算·电商系统分析
基于分布式计算的电商系统设计与实现【系统设计、模型预测、大屏设计、海量数据、Hadoop集群】本研究以开源的淘宝用户行为数据为基础,展开分布式集群的大数据分析,旨在通过高效的数据处理和分析提高电商系统的决策支持能力。所用数据覆盖了从11月18日至12月18日的一个月时间,共计约100万条用户行为记录,每条记录详细记录了用户的每一次行为。研究首先涉及将这些大规模数据上传到Hadoop的HDFS(分布式文件系统)中,利用Hadoop的Flume组件自动加载数据至Hive数据库,为后续的大规模数据分析做好准备。
冰露可乐10 个月前
大数据·zookeeper·分布式计算·国考·网警
zookeeper提示:系列被面试官问的问题,我自己当时不会,所以下来自己复盘一下,认真学习和总结,以应对未来更多的可能性
镰刀韭菜1 年前
云计算·分布式计算·高性能计算·并行计算·超算·网格计算
【计算系统】5分钟了解超算,高性能计算,并行计算,分布式计算,网格计算,集群计算以及云计算的区别超级计算机(Supercomputer)是一种计算力极强的计算机,学术界通常称这一领域为高性能计算(High-Performance Computing)。超级计算机主要为最顶尖的科学研究服务,包括核聚变模拟、石油勘探、量子力学、气候模拟、癌症研究、基因组学、分子动力学、飞机和航天器空气动力学、量化金融、计量经济和当前火热的各类民用人工智能。简而言之,超算(超级计算机)主要用于处理复杂的科学计算、模拟和大规模数据处理等任务,具备出色的计算性能和处理能力。
G皮T1 年前
大数据·分布式·flink·内存管理·分布式计算·流计算·资源管理
【大数据】Flink 详解(五):核心篇 Ⅳ45、Flink 广播机制了解吗?从图中可以理解 广播 就是一个公共的共享变量,广播变量存于 TaskManager 的内存中,所以广播变量不应该太大,将一个数据集广播后,不同的 Task 都可以在节点上获取到,每个节点只存一份。 如果不使用广播,每一个 Task 都会拷贝一份数据集,造成内存资源浪费。
G皮T1 年前
大数据·flink·分布式计算·流计算·状态管理
【大数据】Flink 详解(二):核心篇 Ⅱ22、刚才提到 State,那你简单说一下什么是 State。
G皮T1 年前
大数据·flink·分布式计算
【大数据】Flink 详解(二):核心篇 Ⅰ14、Flink 的四大基石是什么?Flink 的四大基石分别是: