流式计算

xl-xueling16 天前
大数据·后端·网络安全·流式计算
从快手直播故障,看全景式业务监控势在必行!近日,快手平台遭遇有组织的黑产攻击,大量直播间在短时间内被劫持用于传播违规内容。这一事件不仅造成了巨大的负面影响,更暴露了当前互联网平台在应对新型网络攻击时的脆弱性。在较长时间无法解决问题后,最终的解决方案竟然是完全关闭直播入口。我们在强烈谴责黑产违法犯罪行为的同时,行业必须清醒认识到:企业当前的防护模式,在面对高度规模化、组织化、自动化的“闪电战”时已力不从心,必须要对当前的防护体系进行全面升级。
linweidong10 个月前
大数据·flink·checkpoint·流式计算·数仓·自定义source·数据分片
Flink 自定义数据源:从理论到实践的全方位指南在 Flink 的世界里,数据源是数据流的 “源头活水”。简单来说,它负责从外部系统(比如数据库、消息队列、文件系统等)读取数据,并将其转化为 Flink 内部能够处理的格式,供后续的算子(Operator)加工。不管是实时流处理的无界数据,还是批处理的有限数据集,数据源都是那个默默干活的 “搬运工”。
爱做梦的鱼2 年前
大数据·flink·spark·流式计算
1. Flink简述Spark 的数据模型是 RDD,很多时候 RDD 可以实现为分布式共享内存或者完全虚拟化(即有的中间结果 RDD 当下游处理完全在本地时可以直接优化省略掉)。这样可以省掉很多不必要的 I/O。
阿年、嗯啊2 年前
大数据·flink·流式计算·窗口·滚动窗口·滑动窗口·会话窗口
Flink窗口分类简介及示例代码水善利万物而不争,处众人之所恶,故几于道💦Flink作为一个流式处理引擎,被设计用来处理无限数据集,理论上来说,无限数据集是一种不断产生,源源不断的数据集,说白了就是你不知道这个数据流它啥时候结束,这就是无限数据集。
qq_232045572 年前
大数据·流式计算
思格新能源面试(部分)面试官聊到他们是做储能的,是从华为数字能源独立出来的。他们主要缺算法的人。他们调用了ChatGPT的接口,但一是比较慢,二是回答质量不太满意。
我是有底线的