【AI】DeepSeek本地部署,Ollama + vscode + Continue,实现本地运行LLM大模型,以及代码自动补全

文章目录

相关链接

Ollama
Ollama Models
Ollama相关api
VsCode下载

Ollama

安装ollama

Ollama 是一个开源的本地大语言模型运行框架,专为在本地机器上便捷部署和运行大型语言模型(LLM)而设计。

Ollama 支持多种操作系统,包括 macOS、Windows、Linux 以及通过 Docker 容器运行。

Ollama 提供对模型量化的支持,可以显著降低显存要求,使得在普通家用计算机上运行大型模型成为可能。

配置ollama models下载地址

默认会下载到系统盘

下载Model

ollama官网的models中搜索,只要在上面能搜到的Model都能通过命令下载到本地

bash 复制代码
# 下载命令和运行命令一样
ollama run xxx



Success! 默认端口号为11434
http://localhost:11434
如果要更改端口号,到环境变量中添加或更改OLLAMA_HOST

也可以通过接口访调用,以下为相关api👇
https://ollama.cadn.net.cn/api.html

Continue接入VsCode

安装continue插件

添加模型

打开配置文件

或者直接在设置中配置

配置项

配置models,如果有代码补全需求,添加tabAutocompleteModel配置

预告:RAG,知识库



python 复制代码
print("有一种英雄主义就是当我们看清社会的真相以后,依然选择要热爱生活,珍惜生命。")
print("不让别人烦恼是慈悲,不让自己烦恼是智慧")
相关推荐
HAHAXX824 分钟前
可以直接部署使用的AI RPA有哪些?全离线内网部署方案实测
人工智能·rpa
前端小菜鸡yy24 分钟前
前端 + AI 全链路开发教程:从设计图、需求文档、接口文档到项目管理
人工智能
卿卿的产品经理日记25 分钟前
【AI产品经理实战】Day 34|计算机科学速成②:从水流开关到 Unicode,把整个电脑拆成一长串 0 和 1
人工智能·笔记·科技·学习·产品经理
广东帝工33 分钟前
智慧航道是否是智能调度大脑
编辑器
愤怒火龙果36 分钟前
AI攻防 AIRT-Foundations of AI Red Teaming
人工智能·网络安全
小蒋观天下36 分钟前
安防设备自巡检 AI 落地——镜头遮挡、涂抹、移位、失焦自动检测系统
大数据·人工智能·深度学习·5g·机器学习
代码方舟38 分钟前
零信任架构实战:基于天远普通维保查询构建自动化二手车融资租赁资产入库审计网关
人工智能·架构·自动化
2603_9547083141 分钟前
如何进一步优化微能网协调控制箱的架构优势
大数据·数据库·人工智能·分布式·架构
狂奔solar42 分钟前
ActionPlan:让AI学会“走一步看十步“——帧级动作规划如何革新实时人体动作生成
人工智能