【AI】DeepSeek本地部署,Ollama + vscode + Continue,实现本地运行LLM大模型,以及代码自动补全

文章目录

相关链接

Ollama
Ollama Models
Ollama相关api
VsCode下载

Ollama

安装ollama

Ollama 是一个开源的本地大语言模型运行框架,专为在本地机器上便捷部署和运行大型语言模型(LLM)而设计。

Ollama 支持多种操作系统,包括 macOS、Windows、Linux 以及通过 Docker 容器运行。

Ollama 提供对模型量化的支持,可以显著降低显存要求,使得在普通家用计算机上运行大型模型成为可能。

配置ollama models下载地址

默认会下载到系统盘

下载Model

ollama官网的models中搜索,只要在上面能搜到的Model都能通过命令下载到本地

bash 复制代码
# 下载命令和运行命令一样
ollama run xxx



Success! 默认端口号为11434
http://localhost:11434
如果要更改端口号,到环境变量中添加或更改OLLAMA_HOST

也可以通过接口访调用,以下为相关api👇
https://ollama.cadn.net.cn/api.html

Continue接入VsCode

安装continue插件

添加模型

打开配置文件

或者直接在设置中配置

配置项

配置models,如果有代码补全需求,添加tabAutocompleteModel配置

预告:RAG,知识库



python 复制代码
print("有一种英雄主义就是当我们看清社会的真相以后,依然选择要热爱生活,珍惜生命。")
print("不让别人烦恼是慈悲,不让自己烦恼是智慧")
相关推荐
两万五千个小时几秒前
DeepSeek Harness 的动力引擎:Agent Loop 是怎么转起来的
人工智能·程序员·架构
AI轻职场4 分钟前
#DeepSeek、Qwen、GLM 都在卷 Coding,Java 开发者真正应该学什么?
人工智能
Leslie1656 分钟前
注意力不是全连接层换名字:多头自注意力的张量实验
人工智能
Postkarte不想说话6 分钟前
vLLM自定义对话模板
人工智能
具身AGI6 分钟前
宇树打新:物理AI 国产的「本体」先跑通了商业化
人工智能
Json____7 分钟前
AI内容创作平台项目源码
人工智能·ai·agent·内容创作·wwwoop.com
Jay-r9 分钟前
DeepSeek Harness 极简上手:装好、玩熟、让它自己长新能力
人工智能·windows·ai·github·ai编程·deepseek·harness
CodeBlog-star23 分钟前
LLM能力与边界:多模态、幻觉、上下文窗口及开源模型对比
人工智能·python·开源·llm
COOLMO研究AI25 分钟前
Python 如何实现 AI API 的动态路由与多通道负载均衡:多账号与多供应商的高可用调度
人工智能·python·负载均衡
不懂的浪漫32 分钟前
吴恩达《AI Engineering Skills Map》译读:四项核心能力与持续学习底座
人工智能·学习