技术栈

onnx runtime

大鹏的NLP博客
9 天前
c++·深度学习·onnx runtime
WSL2 资源治理:从 ONNX Runtime CUDA 编译 OOM 到 `.wslconfig` 防御配置在 Windows 11 / WSL2 环境下编译 ONNX Runtime、TensorRT 或 CUDA EP 等大型 C++ 项目时,高并发编译极易导致内存耗尽(OOM)。这通常表现为编译进程被 OOM Killer 终止,或者在严重内存压力下导致编译器进程异常退出并最终使构建失败。
shao918516
4 个月前
gradio·litellm·vad-web·groq·onnx runtime·ai-sdk·卡路里助手
第10章(2)——项目四:基于ONNX-Runtime、VAD-WEB和Groq的卡路里助手目前多数语音应用程序的工作方式是单击录制后说话,虽然很有效,但与语音交互最自然的方式是应用程序动态检测用户何时在说话,以便用户无需单击录制即可双向对话。现代语音应用应当突破传统的"单击录音"模式,Gradio通过在ONNX环境运行VAD(Voice Activity Detection:语音活动检测),实现自动检测语音,再结合Whisper语音转录和Groq模型库的高速推理,可以获取动态且低延迟的响应,从而构建语音与文本更直观的交互模式——用户只需随时说话,即可与AI进行交互。
我是有底线的