cudatoolkit

CHPCWWHSU8 天前
llm·llama·cpp·cudatoolkit
llama-server - 从命令行到HTTP Serverllama-server是llama.cpp中用于发布大模型服务的工具。它通过极简的命令行配置,将复杂的模型推理过程封装为通用的 HTTP 接口;在底层,它选择以纯 C++ 编写的 cpp-httplib 作为服务框架的底层。本章分为应用实战与底层架构两部分。首先,我们将介绍不同参数下的大模型服务发布;接着,我们将详细解析 cpp-httplib 在项目中的具体实现,帮助读者掌握该服务端在网络调度层面的运行逻辑。
CHPCWWHSU11 天前
llm·llama·cpp·cudatoolkit
初识llama.cpp - 轻量级推理引擎在 LLM 落地应用的过程中,推理效率和部署门槛是开发者面临的两大痛点。llama.cpp 以其卓越的跨平台兼容性和惊人的推理速度,成为了当前本地推理事实上的工业标准。本系列文章将构建一条从“应用使用”到“源码解析”的学习曲线,包含入门与概览、模型加载与初始化、推理循环核心、计算后端与性能调优、总结与展望五个部分。第一章“初识 llama.cpp-轻量级推理引擎”作为入门与概览的首篇文章,将从简介、编译、本地运行三个方面,快速建立对llamacpp的认识。
AI大模型学徒3 个月前
pytorch·nvidia·cudnn·nimiconda·5090驱动安装·cudatoolkit
5090NVIDIA、CUDAToolkit、cuDNN、Miniconda、PyTorch安装经查询从官网下载 RTX5090驱动报错没权限后显示🔹 建议(AI / GPU 开发场景)你做智能体开发、Docker + GPU、PyTorch / CUDA → 推荐用 .run 文件安装最新驱动(580 系)
我是有底线的