技术栈
linq
Hello.Reader
18 小时前
sql
·
flink
·
linq
Flink 流式计算的状态之道从 Table/SQL 语义到算子状态与 TTL 精准控制
下面这个词频统计需要按 word 维护计数,自然是Keyed State(见图 1):即便是看似“无状态”的 SELECT *,也可能因为上游/下游的变更契约被 Planner 插入Changelog 归一化算子(ChangelogNormalize),从而自动变成有状态(见图 2):
zwjapple
3 天前
c#
·
linq
Kafka 从入门到精通完整指南
Apache Kafka 是一个分布式流处理平台,主要用于构建实时数据管道和流应用程序。核心特点:创建 docker-compose.yml 文件:
GIOTTO情
3 天前
运维
·
自动化
·
linq
舆情处置的自动化实践:基于Infoseek舆情系统的技术解析与落地指南
在过去,舆情处置常被简化为“人工刷微博 + 值班电话 + 领导拍板”。但随着日均信息量破百亿、多模态数据占比提升,传统手段在实时性、准确性、可回溯性上全面告急。
starandsea
6 天前
分布式
·
kafka
·
linq
kafka添加压缩配置后失败
添加压缩配置:报错:Failed to construct kafka producer原因:CompressionType.GZIP.name() 结果是 GZIP
周杰伦fans
8 天前
c#
·
linq
C# SelectMany 完全指南:从入门到精通
大家好!今天我们来深入探讨C#中一个非常强大但经常被初学者忽视的方法:SelectMany。作为一个热爱分享的程序员,我来和大家分享!
wending-Y
13 天前
flink
·
kafka
·
linq
如何正确理解flink 消费kafka时的watermark
在source 层面用全量数据watermark 对后面的窗口计算是否有影响?全是数据生成的watermark是20-5=15 order 数据生成的watermark是 20-5=15 click 数据生成的watermark是 18-5=13 假设窗口大小是10s,现在又来了一条数据25s(order) 这里会导致窗口生成的watermark是25-5=20,刚好可以触发窗口计算了,可实际上可click这个数据流还有部分数据未到达,比如19(click) 就会漏算。所以这样生成watermark会有问
wudl5566
18 天前
sql
·
flink
·
linq
Flink SQL 窗口函数详细
Flink SQL窗口函数是流处理中非常重要的概念,它允许我们在无限的数据流上定义有限的数据窗口,从而进行聚合计算、分析和其他操作。窗口函数将流数据划分为有限大小的"桶",在这些桶上可以应用计算。
专注VB编程开发20年
19 天前
正则
·
linq
.NET中比较正则表达式与LINQ的TakeWhile+Char.IsLetter组合的性能差异,需从CPU效率和内存消耗两个维度分析
在VB.NET中比较正则表达式与LINQ的TakeWhile+Char.IsLetter组合的性能差异,需从CPU效率和内存消耗两个维度分析:
专注VB编程开发20年
19 天前
排序算法
·
.net
·
linq
VB.NET多线程排序算法实现:LINQ与正则表达式方法
根据您的需求,我将提供两种VB.NET多线程排序算法的实现方案,分别使用LINQ逐行处理和正则表达式方法,针对类似"abc123"、"cd12"这样的字符串进行排序,排序时需要将字符串拆分成字母和数字两部分分别比较。
专注VB编程开发20年
20 天前
c#
·
.net
·
linq
·
取唯一键
·
去重复
·
重复数量
C#,VB.NET数组去重复,提取键名和重复键和非重复键
vb.net 输入字符串数组,得到不重复的数据,有重复的键,无重复的键比如,a,a,b,b,c; 不重复的键=a,b,c 有重复的键=a,b 无重复的键=c ,回这3个数组
Hello.Reader
21 天前
架构
·
flink
·
linq
Flink Data Source 理论与实践架构、时序一致性、容错恢复、吞吐建模与实现模式
图 A:枚举器在 JobManager 上分配 Splits,多个 TaskManager 上的 SourceReader 并行消费
小醉你真好
22 天前
spring boot
·
kafka
·
linq
Spring Boot + Kafka 全面实战案例
本文使用 Spring Boot 3 + Kafka 3.x,演示 Kafka 在微服务中的完整应用场景,包括生产者、消费者、事务、幂等、批量消费、Streams、延迟消息、死信队列等。
数字化顾问
23 天前
c#
·
linq
从 DAG 到 Shuffle:掌握 Spark RDD 宽窄依赖的调优密码
关键词:Spark RDD 宽窄依赖:从 DAG 到 Shuffle 的性能之道下面以“广告点击日志 Top-N 广告主消耗”为例,展示如何把 3 次 Shuffle 优化到 1 次,完整注释每行对 DAG 与宽窄依赖的影响。
oAnTuSheng12
1 个月前
linq
Linux系统日志分析从入门到实战的完整指南
日志是Linux系统的“黑匣子”,它详细记录了系统、内核、应用程序及服务的运行状态和发生的各种事件。对于系统管理员、运维工程师和安全分析师而言,熟练进行日志分析是诊断问题、监控性能和保障安全的核心技能。入门阶段,首先需要了解Linux系统中几个核心的日志文件及其位置。大多数现代Linux发行版使用systemd作为初始化系统,其日志由journald管理,可通过`journalctl`命令查看。同时,传统的文本日志文件通常集中在`/var/log`目录下,例如:
云雾J视界
1 个月前
大数据
·
阿里云
·
flink
·
linq
·
checkpoint
·
反压
Flink Checkpoint与反压问题排查手册:从日志分析到根因定位
在实时计算领域,Apache Flink 已成为企业处理流数据的核心引擎,但在生产环境中,Checkpoint 失败和反压(Backpressure)问题频繁发生,导致作业延迟、数据不一致甚至集群崩溃。根据阿里巴巴双十一实战数据,超过 60% 的 Flink 作业故障源于 Checkpoint 超时或反压传导,这些问题不仅影响业务 SLA,还增加了运维成本。
Hello.Reader
1 个月前
分布式
·
kafka
·
linq
Kafka 授权与 ACL 深入实践
Kafka 内置可插拔的授权框架,通过 authorizer.class.name 指定 Authorizer 实现。被配置实现需继承 org.apache.kafka.server.authorizer.Authorizer。 KRaft 模式下,Kafka 提供默认实现,将 ACL 存储在 集群元数据(KRaft 元数据日志) 中。请在 所有节点(broker、controller 或二者合一)设置:
Hello.Reader
1 个月前
大数据
·
flink
·
linq
Flink 有状态流处理State、Keyed State、Checkpoint、对齐/不对齐与生产实践
在实际业务里,你很难“看一条算一条”。典型需求包括:这都需要 状态(State)。Flink 在运行时感知状态,借助 Checkpoints/Savepoints 保障容错,并支持弹性伸缩时的状态再分布。
cgsthtm
1 个月前
c#
·
linq
·
分页
·
sqlsugar
C#使用linq将数据进行分页
ruoyi.net 的分页帮助类,如下:分页实体类,如下:数据查询于分页如下:分页扩展类,如下:从数据库需要添加 租户 标记,如下:
李小枫
1 个月前
linux
·
kafka
·
linq
在linux上安装kafka,并使用kafka-clients实现消费者
Kafka依赖 Java运行环境(JDK8或更高版本)如果已经安装Java环境,可通过如下方式进行检查
励志成为糕手
1 个月前
分布式
·
kafka
·
linq
·
controller
·
isr机制
Kafka选举机制深度解析:分布式系统中的民主与效率
🌟 你好,我是 励志成为糕手 ! 🌌 在代码的宇宙中,我是那个追逐优雅与性能的星际旅人。 ✨ 每一行代码都是我种下的星光,在逻辑的土壤里生长成璀璨的银河; 🛠️ 每一个算法都是我绘制的星图,指引着数据流动的最短路径; 🔍 每一次调试都是星际对话,用耐心和智慧解开宇宙的谜题。 🚀 准备好开始我们的星际编码之旅了吗?