技术栈
调优
Java后端的Ai之路
16 小时前
人工智能
·
知识库
·
调优
·
rag
·
graphrag
【RAG技术】- RAG系统调优手段之GraphRAG(全局视野)
摘要:你是否遇到过 AI 在面对“这篇文章的主旨是什么?”或者“19 世纪的艺术运动如何影响了 20 世纪?”这类宏观问题时显得力不从心?传统的 Naive RAG 往往只关注局部片段,而 GraphRAG 通过构建知识图谱和社区摘要,为 AI 开启了“上帝视角”。本文将带你深度拆解 GraphRAG 的原理、流程及进阶方案,更有 Python 代码实战,让你一文掌握这项前沿技术!
栗子叶
1 个月前
jvm
·
调优
·
死锁
JVM 内存溢出和死锁检测
溢出打印dump 了堆快照文件可以看到,有81.72%的内存由Object[]数组占有,所以比较可疑。
其美杰布-富贵-李
1 个月前
人工智能
·
pytorch
·
python
·
监控
·
调优
TensorBoard 与 WandB 在 PyTorch Lightning 中的完整指南
在深度学习研究与开发中,我们面临以下挑战:实验追踪工具的核心价值:PyTorch Lightning 是 PyTorch 的高层封装,它:
Yeliang Wu
2 个月前
调优
·
sglang
·
分布式推理
SGLang调优:从原理到实践(Ubuntu 22.04 + CUDA 12.6)
作者:吴业亮 博客:wuyeliang.blog.csdn.netSGLang是面向LLM推理的高性能框架,主打动态对话编排和低延迟高吞吐,核心优化围绕LLM推理的三大瓶颈(KV缓存、内存带宽、算子效率)。本文基于Ubuntu 22.04 + CUDA 12.6 + 最新SGLang,从原理、环境搭建、调优实践到性能验证,全面讲解SGLang调优方法。
Yeliang Wu
2 个月前
ubuntu
·
调优
·
推理
·
vllm
vLLM调优:从原理到Ubuntu 22.04实践
作者:吴业亮 博客:wuyeliang.blog.csdn.netvLLM是由UC伯克利等机构开发的高性能LLM推理/服务框架,核心优势是超高吞吐、低延迟、显存利用率高,其性能优势源于核心技术创新,调优也需围绕这些核心机制展开。本文将从原理入手,逐步讲解Ubuntu 22.04下的vLLM环境搭建、全维度调优策略及实战案例。
七夜zippoe
3 个月前
缓存
·
压缩
·
调优
·
痛点
压缩与缓存调优实战指南:从0到1根治性能瓶颈(一)
💡 核心价值:本文聚焦“压缩”与“缓存”两大性能优化基石,通过15000+字深度解析,覆盖从“业务痛点定位”到“长效保障机制”的全链路。包含16类主流场景(Nginx/Apache/Tomcat/CDN/容器/K8s/移动端/小程序/云原生/物联网终端等)的实操方案、45套可直接复制的配置脚本、28个排障流程图、8个大厂真实案例复盘,以及Nginx 1.20-1.26、Apache 2.2/2.4、Tomcat 8-10等跨版本适配技巧,配套工具清单(压缩/监控/压测)和团队协作规范。新手可“抄作业”落
在未来等你
7 个月前
java
·
jvm
·
性能优化
·
虚拟机
·
调优
JVM调优实战 Day 15:云原生环境下的JVM配置
jvm调优, 云原生, Java性能优化, JVM参数配置, 容器化部署, Kubernetes, Docker, JVM在云原生中的应用
一名小码农
8 个月前
java
·
gc
·
调优
·
线上问题
·
死循环
·
线上
线上GC count突增问题排查及修复记录
1、首先是收到系统GC count报警2、一分钟后,收到系统机器各项指标异常报警:gc count、gc time 、cpu load升高,cpu idle 变低
人工智能培训咨询叶梓
10 个月前
人工智能
·
语言模型
·
自然语言处理
·
性能优化
·
调优
·
大模型微调
·
llama factory
LLAMAFACTORY:一键优化大型语言模型微调的利器
想要掌握如何将大模型的力量发挥到极致吗?叶梓老师带您深入了解 Llama Factory —— 一款革命性的大模型微调工具(限时免费)。
小猫猫猫◍˃ᵕ˂◍
1 年前
jvm
·
调优
调优案例一:堆空间扩容提升吞吐量实战记录
进程定位GC监控日志分析🌟 调优真谛:用数据说话!通过量化指标验证每次调整的合理性,才是JVM调优的正确姿势~
小技工丨
1 年前
大数据
·
spark
·
调优
SparkStreaming之04:调优
深入理解案例演示:batchInterval : 触发批处理的时间间隔 blockInterval :将接收到的数据生成Block的时间间隔,spark.streaming.blockInterval(默认是200ms),那么,BlockRDD的分区数 = batchInterval / blockInterval,即一个Block就是RDD的一个分区,就是一个task 比如,batchInterval是2秒,而blockInterval是200ms,那么task数为10,如果task的数量太少,比一个e
小技工丨
1 年前
数据仓库
·
hive
·
hadoop
·
调优
Hive-07之企业级调优
Fetch抓取是指,Hive中对某些情况的查询可以不必使用MapReduce计算在hive-default.xml.template文件中 hive.fetch.task.conversion默认是more,老版本hive默认是minimal,该属性修改为more以后,在全局查找、字段查找、limit查找等都不走mapreduce。
是小崔啊
1 年前
java
·
jvm
·
调优
JVM - JVM调优
-Xms堆最小值-Xmx堆最大堆值-Xms与-Xmx 的单位默认字节都是以k、m做单位的。通常这两个配置参数相等,避免每次空间不足,动态扩容带来的影响。减少内存的交换
码农爱java
1 年前
jvm
·
原理
·
调优
·
jvm 调优
·
gc 日志
·
gc 分析
JVM 性能调优 -- JVM 调优常用网站
前言:上一篇分享了 JDK 自带的常用的 JVM 调优命令和图形化界面工具,本篇我们分享一下常用的第三方辅助 JVM 调优网站。
java_heartLake
1 年前
数据库
·
postgresql
·
调优
PostgreSQL数据库参数调优实践
PostgreSQL(简称PG)数据库的性能调优是一个复杂但至关重要的过程,特别是在处理大量数据和复杂查询时。通过合理设置和调整数据库参数,可以显著提升数据库的性能和响应速度。本文将从多个方面详细介绍PostgreSQL数据库参数调优的实践,涵盖大小、存储、并发连接数等主要参数,并提供具体例子和解释。
人工智能培训咨询叶梓
1 年前
人工智能
·
语言模型
·
自然语言处理
·
性能优化
·
调优
·
大模型微调
·
指令微调
探索开放资源上指令微调语言模型的现状
人工智能咨询培训老师叶梓 转载标明出处开放模型在经过适当的指令调整后,性能可以与最先进的专有模型相媲美。但目前缺乏全面的评估,使得跨模型比较变得困难。来自Allen Institute for AI和华盛顿大学的研究人员们进行了一项全面的研究,探索了不同公开指令数据集对语言模型性能的影响。
大数据AI人工智能培训专家培训讲师叶梓
1 年前
人工智能
·
自然语言处理
·
性能优化
·
大模型
·
微调
·
调优
·
检索增强型生成
基于模型内部的检索增强型生成答案归属方法:MIRAGE
人工智能咨询培训老师叶梓 转载标明出处在自然语言处理(NLP)中,确保模型生成答案的可验证性是一个重要挑战。特别是在检索增强型生成(RAG)用于问答(QA)领域时,如何验证模型答案是否忠实于检索到的来源是一个关键问题。近期一种名为自引用提示的方法被提出,以使大型语言模型(LLMs)在生成答案的同时生成对支持文档的引用。然而,自引用的LLMs经常难以匹配所需格式,引用不存在的来源,并且未能忠实反映LLMs在生成过程中对上下文的使用。针对这一问题,荷兰格罗宁根大学和阿姆斯特丹大学的研究者们提出了一种名为MIR
人工智能培训咨询叶梓
1 年前
人工智能
·
深度学习
·
语言模型
·
自然语言处理
·
性能优化
·
调优
·
1024程序员节
·
大模型微调
语言模型微调:提升语言Agent性能的新方向
人工智能咨询培训老师叶梓 转载标明出处大多数语言Agent依赖于少量样本提示技术(few-shot prompting)和现成的语言模型。这些模型在作为Agent使用时,如生成动作或自我评估,通常表现不佳,且鲁棒性差。
人工智能培训咨询叶梓
1 年前
人工智能
·
语言模型
·
自然语言处理
·
性能优化
·
调优
·
大模型微调
·
指令微调
自我指导:提升语言模型自我生成指令的能力
人工智能咨询培训老师叶梓 转载标明出处传统的语言模型,尤其是经过指令微调的大型模型,虽然在零样本(zero-shot)任务泛化上表现出色,但它们高度依赖于人类编写的指令数据。这些数据往往数量有限、多样性不足,且缺乏创造性,限制了模型的泛化能力。为了解决这一问题,由华盛顿大学、德黑兰理工大学、亚利桑那州立大学、约翰霍普金斯大学以及艾伦人工智能研究所的研究人员联合提出了一种名为“SELF-INSTRUCT”的框架,旨在通过自举(bootstrapping)的方式,利用预训练语言模型自身的生成能力,提升其遵循指