batch

月光有害3 天前
开发语言·深度学习·batch
深入解析批归一化 (Batch Normalization): 稳定并加速深度学习的基石在深度神经网络(DNN)的演进历程中,批归一化(Batch Normalization, BN)的提出无疑是一个里程碑式的创新。它不仅显著加速了模型的收敛速度,还增强了训练的稳定性,甚至在一定程度上起到了正则化的作用。
数形长夏4 天前
架构·bash·batch
命令行界面的神秘符号,是上一代程序复用的尝试打开终端或命令提示符,看到 $、|、> 这些符号,就会觉得它们带着一种古老的、神秘的气息。这些符号代表的运行机制,是计算机早期阶段程序复用与交互的重要尝试,它们所承载的设计思想,至今仍深刻影响着软件架构。
大模型玩家七七8 天前
android·java·开发语言·网络·人工智能·batch
效果评估:如何判断一个祝福 AI 是否“走心”在大模型项目里,评估往往被认为是一个“技术收尾”的环节:但一旦你进入创意生成类任务,比如春节祝福、文案创作、风格写作,这套方法几乎立刻失效。
闻哥11 天前
java·spring boot·面试·kafka·linq·batch
Kafka核心优化机制:Batch+Request底层原理与缓冲池设计深度解析在大数据高吞吐场景下,Kafka的性能优势毋庸置疑,而其客户端的Batch(批量消息)+Request(批量请求) 机制是实现高吞吐的核心基石。这套机制基于TCP协议做了上层封装优化,通过“数据打包”减少网络IO次数,再配合专属的缓冲池机制解决JVM GC问题,让Kafka在海量消息传输中保持高效稳定。
大模型玩家七七12 天前
java·开发语言·数据库·安全·batch
基于语义切分 vs 基于结构切分的实际差异在 RAG 项目里,切分方式通常是最早被确定的部分之一:而且在当时,这个选择往往显得并不重要:“反正后面还有 embedding、TopK、rerank、模型兜底。”
Dimpels13 天前
开发语言·aigc·batch
CANN ops-nn 算子解读:AIGC 批量生成中的 Batch 处理与并行算子本文基于 CANN ops-nn 仓库的批量处理能力,解析其在 AIGC 批量图像生成中的应用。“帮我生成 10 张不同风格的 Logo 设计”、“我需要 100 张产品展示图”——在商业应用中,AIGC 往往需要批量生成内容。
Rainly200016 天前
java·spring·batch
java原生实现企业级spring batch数据迁移这个纯Java实现的数据迁移框架具有以下优势:这个实现比Spring Batch更加灵活和高效,特别适合处理超大规模数据迁移,可以轻松扩展到每秒处理百万级记录。
香芋Yu18 天前
深度学习·设计模式·batch
【深度学习教程——01_深度基石(Foundation)】05_数据太多怎么吃?Mini-batch训练的设计模式本章目标:解决"数据量太大,显存放不下"的问题。从全量训练 (Batch) 进化到分批训练 (Mini-batch)。
Hello.Reader19 天前
大数据·flink·batch
Flink 自适应批执行(Adaptive Batch Execution)让 Batch 作业“边跑边优化”传统静态计划的问题不在于优化器不聪明,而在于“信息不够”:自适应批执行的思路是:别强行在开跑前把所有决策做完,让作业跑起来拿到真实数据特征,再做决定。
杨_晨24 天前
人工智能·机器学习·ai·语言模型·batch
大模型微调训练FAQ - Batch Size与参数配置A: 主要体现在以下几个方面:1. 显存使用 💾影响机制:2. 训练速度 ⚡3. 模型效果 🎯 梯度稳定性:
wtsolutions1 个月前
json·word·batch
Sheet-to-Doc Supports JSON and JSONL: New Way to Batch Generate Word DocumentsAs a data analyst and content creator, I often need to convert various formats of data into structured documents. Recently, I discovered that the Sheet-to-Doc tool developed by WTSolutions has updated an important feature - supporting JSON and JSONL forma
空山新雨后、1 个月前
人工智能·深度学习·机器学习·batch
小数据集训练 300 epoch 夸张吗?(讲清epoch step batch )一次喂给模型多少张图片。 比如 batch=128,意思是一次看 128 张图。模型看一次 batch 并更新一次参数,算 1 step。
一瞬祈望1 个月前
人工智能·深度学习·batch
⭐ 深度学习入门体系(第 18 篇): Batch Size:为什么它能影响训练速度与泛化能力?如果说学习率是训练中的“油门”, 那么 Batch Size(批大小) 就是训练中的“上菜节奏”。你可能看到很多人讨论:
Hello.Reader1 个月前
开发语言·batch
PyFlink Table Arrow 原理、Exactly-Once、Batch Size、内存风险与最佳实践当你执行:内部流程是:1)客户端把 pdf 用 Arrow columnar format 序列化 2)作业执行时由 Arrow source 在运行时处理并反序列化 3)这套 Arrow source 既能用于 batch,也能用于 streaming 4)在 streaming 场景还与 checkpoint 集成,可提供 exactly-once 语义
Hi梅2 个月前
java·服务器·batch
批量处理框架 (Batch Processing Framework)一个基于游标的通用批量数据处理框架,采用策略模式设计,支持串行和并行处理模式,内置重试机制和窗口分页处理,适用于各种需要批量处理数据的业务场景。
廋到被风吹走2 个月前
java·spring·batch
【Spring】Spring Batch 详细介绍Spring Batch 是一个轻量级、全面的批处理框架,专为开发企业级批处理应用而设计。它基于 Spring 框架构建,提供了处理大规模数据集的可重用功能,包括事务管理、作业统计、重启、跳过和资源管理等,是 Java 生态中批处理任务的事实标准。
淋了一场太阳雨2 个月前
sap·batch·lsmw
SAP LSMW (二) - Batch Input RecordingTCODE: LSMW 上一篇文章介绍了 SAP LSMW (一) - Standard Batch/Direct Input 介绍了LSMW里面的第一种工具。
性感博主在线瞎搞2 个月前
人工智能·神经网络·机器学习·batch·批次正规化
【神经网络】超参调优策略(二):Batch Normalization批量归一化在之前写过的一篇文章(【神经网络】超参调优策略(一):权重初始值调优——防止梯度消失和表现力受限)中,我们通过调整各层权重初始值使得各层的激活值分布会有适当的广度,从而可以顺利地进行学习,但当神经网络的层数、神经元数达到一定数量级时,如何确定最佳初始值成为一个难题,那么有没有那种可以强制性地调整激活值的分布,使其具备一定的广度呢?
小孟的CDN2 个月前
pytorch·算法·batch·代码·adam+lbfgs
使用pytorch进行batch_size分批训练,并使用adam+lbfgs算法——波士顿房价预测使用pytorch神经网络进行波士顿房价预测
Hello.Reader2 个月前
sql·flink·batch
Flink SQL 的 TRUNCATE 用法详解(Batch 模式)在 Flink Table / SQL 体系里,TRUNCATE TABLE 的语义非常明确:把表清空(删除全部行),但保留表结构。 你可以把它理解成“快速清空这张表的数据”。