Ollama开发指南

前奏:Ollama是什么,为什么这么好用

安装必备工具

  确保已安装以下软件的正确版本:

  CMake 3.24 或更高版本

  Go 1.22 或更高版本

  GCC 11.4.0 或更高版本

使用 Homebrew 安装这些工具(适用于macOS和Linux):

复制代码
brew install go cmake gcc

可选:启用调试与详细日志

  构建时开启调试信息:

复制代码
export CGO_CFLAGS="-g"

  运行时开启更多日志输出:

复制代码
export OLLAMA_DEBUG=1

获取依赖库并构建原生LLM代码

使用Go的generate命令来获取依赖并构建本地代码:

复制代码
go generate ./...

含义看这里:go generate ./... 含义

构建Ollama

构建Ollama主程序:

复制代码
go build .

运行Ollama

构建完成后,执行Ollama:

复制代码
./ollama

Linux平台特异性

Linux上的CUDA(NVIDIA)

  安装NVIDIA CUDA开发包和运行时环境。尽管某些Linux发行版可能已包含CUDA,但具体步骤可能因发行版而异,请查阅相应文档。

  构建脚本通常能自动识别CUDA路径,若路径非标准,可通过环境变量CUDA_LIB_DIR和CUDACXX指定CUDA库目录和nvcc编译器位置。自定义目标CUDA架构,可设置CMAKE_CUDA_ARCHITECTURES。

Linux上的ROCm(AMD)

  安装CLBlast和ROCm的开发包,以及CMake和Go。

  ROCm同样能被自动检测,但如有特殊路径,可通过ROCM_PATH和CLBlast_DIR环境变量指定ROCm安装目录和CLBlast目录。AMD GPU目标可通过AMDGPU_TARGETS自定义。

  ROCm运行时需提升权限,通常将用户加入render组或以root身份运行。

高级CPU设置

  默认情况下,go generate ./...会基于通用CPU家族和向量数学能力编译几个LLM库变体。

  若要为特定处理器定制CPU版本,可设置OLLAMA_CUSTOM_CPU_DEFS环境变量,传入llama.cpp编译标志。

Linux容器化构建

  如果安装了Docker,可以使用./scripts/build_linux.sh脚本构建Linux二进制文件,该脚本包含了CUDA和ROCm依赖。构建产物位于./dist目录下。

Windows平台

注意:Ollama的Windows构建仍在开发中。

  必须安装MSVC工具链、Go(1.22+)及MinGW(任一变体)搭配GCC。

  对于Windows CUDA支持,需在安装MSVC后安装NVIDIA CUDA。

  对于Windows ROCm支持,需安装AMD HIP SDK,并配置Strawberry Perl环境。

  最后,确保将MSVC附带的ninja.exe添加到系统路径中。

Tool:ChatAI文字生成图片代码差异比较器HTML查错器Llama3在线

Link:https://www.cnblogs.com/farwish/p/18164772

相关推荐
阿演16 分钟前
DataDjinn 新版本更新:国产数据库支持、连接树体验、AI 查询和表格编辑继续增强
数据库·人工智能·ai·ai编程
装不满的克莱因瓶27 分钟前
深入PyTorch模型的训练与可视化 —— 掌握迁移学习等模型训练效果提升的办法
人工智能·pytorch·python·深度学习·神经网络·ai·迁移学习
ANnianStriver1 小时前
PetLumina 08 — 通知系统与搜索功能修复(广播机制 + 已读状态 + 参数对齐)
java·ai·ai编程·广播机制
ANnianStriver1 小时前
PetLumina 03 — 后端目录重构与 Web 管理后台搭建
java·前端·ai·重构·ai编程·claude code
lengjingzju2 小时前
符·形·音·意(SFEM):一种面向通用智能的四维认知架构
设计模式·ai·学习方法
li-xun2 小时前
2026年6月8日博客精选
人工智能·ai·ai编程·每日阅读
哥布林学者2 小时前
深度学习进阶(二十九)现代 LLM 的核心架构设计其四:GQA
机器学习·ai
CJH(本人账号)3 小时前
AI Agent 安全危机:当你的“智能助手“变成攻击者的“远程武器“
网络·人工智能·安全·ai·开源·github
要开心吖ZSH3 小时前
AI医疗分诊与健康咨询助手agent开发——(1)从零搭建SpringBoot与AI对话系统:后端骨架 + 前端对话页 + SSE流式输出
java·ai·agent·健康医疗
笨蛋©3 小时前
2026制造业实战:数字化检测计划(Inspection Plan)编制流程与质量管理标准化
ai·数字化·cad·质量管理·制造业