【AI】DeepSeek本地部署,Ollama + vscode + Continue,实现本地运行LLM大模型,以及代码自动补全

文章目录

相关链接

Ollama
Ollama Models
Ollama相关api
VsCode下载

Ollama

安装ollama

Ollama 是一个开源的本地大语言模型运行框架,专为在本地机器上便捷部署和运行大型语言模型(LLM)而设计。

Ollama 支持多种操作系统,包括 macOS、Windows、Linux 以及通过 Docker 容器运行。

Ollama 提供对模型量化的支持,可以显著降低显存要求,使得在普通家用计算机上运行大型模型成为可能。

配置ollama models下载地址

默认会下载到系统盘

下载Model

ollama官网的models中搜索,只要在上面能搜到的Model都能通过命令下载到本地

bash 复制代码
# 下载命令和运行命令一样
ollama run xxx



Success! 默认端口号为11434
http://localhost:11434
如果要更改端口号,到环境变量中添加或更改OLLAMA_HOST

也可以通过接口访调用,以下为相关api👇
https://ollama.cadn.net.cn/api.html

Continue接入VsCode

安装continue插件

添加模型

打开配置文件

或者直接在设置中配置

配置项

配置models,如果有代码补全需求,添加tabAutocompleteModel配置

预告:RAG,知识库



python 复制代码
print("有一种英雄主义就是当我们看清社会的真相以后,依然选择要热爱生活,珍惜生命。")
print("不让别人烦恼是慈悲,不让自己烦恼是智慧")
相关推荐
2301_797604249 分钟前
学习记录:DAY32
学习
sbc-study11 分钟前
PCDF (Progressive Continuous Discrimination Filter)模块构建
人工智能·深度学习·计算机视觉
EasonZzzzzzz19 分钟前
计算机视觉——相机标定
人工智能·数码相机·计算机视觉
猿小猴子28 分钟前
主流 AI IDE 之一的 Cursor 介绍
ide·人工智能·cursor
要努力啊啊啊28 分钟前
Reranker + BM25 + FAISS 构建高效的多阶段知识库检索系统一
人工智能·语言模型·自然语言处理·faiss
EasyDSS36 分钟前
国标GB28181设备管理软件EasyGBS远程视频监控方案助力高效安全运营
网络·人工智能
蓝婷儿39 分钟前
6个月Python学习计划 Day 16 - 面向对象编程(OOP)基础
开发语言·python·学习
春末的南方城市1 小时前
港科大&快手提出统一上下文视频编辑 UNIC,各种视频编辑任务一网打尽,还可进行多项任务组合!
人工智能·计算机视觉·stable diffusion·aigc·transformer
小喵喵生气气1 小时前
Python60日基础学习打卡Day46
深度学习·机器学习
叶子2024221 小时前
学习使用YOLO的predict函数使用
人工智能·学习·yolo