技术栈
ai部署
凡狗蛋
15 天前
视频检测
·
ai部署
·
gpu优化
VideoAgentTrek-ScreenFilter高算力适配:GPU显存优化与推理加速技巧
如果你正在使用VideoAgentTrek-ScreenFilter处理视频内容,可能会遇到这样的场景:上传一个30秒的视频,等待时间却长得让人失去耐心;或者同时处理多个视频时,系统直接提示显存不足。这背后,其实是模型推理效率与硬件资源之间的博弈。
Lucy-Fintech社区
16 天前
大语言模型
·
gemma
·
ai部署
·
显存管理
Gemma-3-12b-it显存精细化管理实战:动态释放+缓存清理自动化脚本
如果你正在本地运行像Gemma-3-12b-it这样的大模型,可能已经遇到了一个头疼的问题:显存不够用。刚开始对话时一切正常,但随着对话轮次增加,或者处理了几张图片后,程序开始报错,提示显存不足,甚至直接崩溃。
偏偏无理取闹
18 天前
大语言模型
·
ai部署
·
多语言对话
Llama-3.2-3B开箱体验:Ollama部署+多语言对话实测
Llama-3.2-3B是Meta最新推出的轻量级多语言大模型,专门针对对话场景进行了优化。这个3B参数的模型在保持较小体积的同时,提供了相当不错的文本生成能力,特别适合本地部署和快速响应场景。
爱分析
25 天前
端口冲突
·
ai部署
·
clawdbot
ClawdBot部署教程:ClawdBot与Ollama共存时vLLM端口冲突解决方案
如果你正在本地部署AI助手,可能会遇到这样一个常见问题:同时运行ClawdBot和Ollama时,两个服务都试图使用相同的端口(默认8000端口),导致冲突无法正常启动。
无心水
4 个月前
docker
·
云原生
·
架构
·
神经风格迁移
·
docker容器化
·
ai部署
·
vgg算法
【神经风格迁移:工程化】27、神经风格迁移全栈进阶实战:Docker容器化与K8s部署,从单机到云原生
在当今的AI应用部署领域,容器化技术已成为标准实践。从传统的虚拟机到轻量级容器,再到如今云原生生态,部署方式的演进显著提升了神经风格迁移系统的可移植性、弹性伸缩和运维效率。本文将全面解析如何将我们构建的神经风格迁移系统从单机部署演进到云原生架构。
点云SLAM
10 个月前
人工智能
·
pytorch
·
计算机视觉
·
tensorflow
·
深度学习框架
·
ai部署
·
ai环境平台
TensorFlow 和PyTorch的全方位对比和选择建议
下面是 TensorFlow 和 PyTorch 的全方位对比,涵盖底层架构、语法风格、动态图与静态图机制、部署支持、社区与生态、性能等多个维度,适合开发者、研究者与工程应用人员深入了解。
我是有底线的