技术栈
高炉炼铁智能化
段一凡-华北理工大学
8 天前
大数据
·
人工智能
·
hadoop
·
机器学习
·
架构
·
工业智能体
·
高炉炼铁智能化
工业领域的Hadoop架构学习~系列文章15:机器学习与大数据融合 - 工业智能的算法引擎
导言:机器学习与大数据平台的融合是工业智能化的核心驱动力。本期深入探讨Spark MLlib、FlinkML、TensorFlow on Spark等主流机器学习框架,详细讲解特征工程、模型训练、在线推理的全流程实战,并结合工业场景的异常检测、预测性维护、质量预测等典型应用。
段一凡-华北理工大学
10 天前
大数据
·
人工智能
·
hadoop
·
学习
·
架构
·
高炉炼铁
·
高炉炼铁智能化
工业领域的Hadoop架构学习~系列文章12:Hadoop集群监控与运维
导言:工业大数据平台的稳定运行是智能制造的生命线。本期从监控体系架构设计出发,深入剖析Ganglia、Prometheus、Grafana等主流监控工具的集成方案,详细讲解JMX、Metrics接口的暴露与采集,构建完整的告警体系和自动化运维流程。
段一凡-华北理工大学
10 天前
数据仓库
·
hadoop
·
学习
·
架构
·
高炉炼铁
·
工业智能体
·
高炉炼铁智能化
工业领域的Hadoop架构学习~系列文章11:Kerberos安全认证
导言:在工业4.0时代,数据安全已成为智能制造的生命线。本期深入剖析Kerberos认证协议的对称加密数学原理,详细解析Ticket Granting Ticket的信任链传递机制,以及Hadoop各核心组件的Kerberos集成方案,为工业大数据平台提供企业级的安全保障。
段一凡-华北理工大学
11 天前
数据库
·
人工智能
·
hadoop
·
架构
·
hbase
·
高炉炼铁
·
高炉炼铁智能化
工业领域的Hadoop架构学习~系列文章09:HBase列式数据库
导言:任何不理解HBase数据模型和Region管理的工程师无法设计高可用的NoSQL存储系统。本期我们将深入HBase的核心设计,从LSM-Tree的数学本质出发,阐明写放大问题的根因与优化;解析Region分裂的策略与调优;以及工业场景的高并发读取优化。
段一凡-华北理工大学
11 天前
大数据
·
人工智能
·
hadoop
·
分布式
·
学习
·
工业智能体
·
高炉炼铁智能化
工业领域的Hadoop架构学习~系列文章10:数据序列化与压缩
导言:任何不理解序列化与压缩技术的工程师无法设计高效的数据存储系统。本期我们将深入序列化与压缩的数学本质,从信息熵理论出发,阐明压缩算法的选择原理;解析Avro/Parquet等列式格式的设计优势;以及工业场景的序列化与压缩配置优化。
段一凡-华北理工大学
12 天前
人工智能
·
hadoop
·
学习
·
架构
·
flink
·
高炉炼铁
·
高炉炼铁智能化
工业领域的Hadoop架构学习~系列文章08:Flink流处理引擎
导言:任何不理解Flink WaterMark机制的工程师无法设计可靠的实时工业系统。本期我们将深入Flink的核心设计,从事件时间处理的水印理论出发,阐明乱序事件处理的数学保证;解析窗口计算的数学形式化;以及Exactly-Once端到端语义的实现原理。
段一凡-华北理工大学
12 天前
大数据
·
人工智能
·
hadoop
·
学习
·
架构
·
高炉炼铁
·
高炉炼铁智能化
工业领域的Hadoop架构学习~系列文章07:Spark内存计算引擎
导言:任何不理解Spark RDD设计哲学的工程师无法胜任大数据平台的性能优化。本期我们将深入Spark的核心设计,从RDD的不可变性论出发,阐明Lineage血统追踪的容错原理;解析DAG调度器的优化策略;以及DataFrame/Dataset如何通过Tungsten引擎实现工业级性能提升。
段一凡-华北理工大学
13 天前
大数据
·
网络
·
人工智能
·
算法
·
工业智能体
·
高炉炼铁智能化
2026 高炉炼铁智能化技术全景与演进路径~系列文章11:演进路径与行业未来
导言:专栏的最后一期,我们将站在更高的视角,审视高炉智能化乃至钢铁行业智能化的演进路径与未来趋势。从单炉优化到全流程协同,从企业级应用到产业级生态,这场技术革命正在重塑整个钢铁行业的竞争格局。
段一凡-华北理工大学
14 天前
人工智能
·
hadoop
·
学习
·
架构
·
系统架构
·
高炉炼铁
·
高炉炼铁智能化
工业领域的Hadoop架构学习~系列文章04:YARN资源调度架构
导言:任何不理解YARN资源调度数学原理的架构师都无法设计出公平高效的多租户平台。本期我们将深入资源调度的理论基础,从公平性度量(Max-Min Fairness)出发,阐明Capacity Scheduler和Fair Scheduler的设计原理;解析YARN的容器抽象与资源隔离机制;以及为什么在云原生时代Kubernetes正在成为YARN的替代者。
段一凡-华北理工大学
14 天前
人工智能
·
hadoop
·
学习
·
架构
·
kafka
·
工业智能体
·
高炉炼铁智能化
工业领域的Hadoop架构学习~系列文章05:Kafka消息队列 - 工业数据流传输
导言:任何不理解Kafka消息语义和ISR机制的工程师无法设计可靠的工业数据采集系统。本期我们将深入Kafka的核心设计,从分布式日志的数学本质出发,阐明ISR机制如何保证数据持久性;解析Exactly-Once语义的实现原理;以及工业场景的高吞吐、低延迟配置优化策略。
段一凡-华北理工大学
21 天前
数据库
·
人工智能
·
深度学习
·
神经网络
·
安全
·
架构
·
高炉炼铁智能化
2026 高炉炼铁智能化技术全景与演进路径~系列文章04:云-边-端协同架构:高炉智能化底层支撑体系
导言:智能化系统的"智商"再高,也需要"强健的体魄"来支撑。本期我们将深入探讨高炉智能化系统的底层架构——如何通过"云-边-端"三层协同,实现海量工业数据的实时处理与智能推理,并确保系统的可靠性、实时性与可扩展性。
我是有底线的