01.【AI大模型对话】通过开源的简化大型语言模(LLM)技术来实现对话
提示:帮帮志会陆续更新非常多的IT技术知识,希望分享的内容对您有用。本章分享的是springboot的使用。前后每一小节的内容是存在的有:学习and理解的关联性。【帮帮志系列文章】:每个知识点,都是写出代码和运行结果且前后关联上的去分析和说明(能大量节约您的时间)。
所有文章都*不会*直接把代码放那里,让您自己去看去理解。我希望我的内容对您有用而努力~
系列文章总目录 ,除了当前的AI大模型系列外,还包括java前后分离,Python,AI,大数据,游戏,面试等等,系列文章归纳在此:
系列文章---总目录
文章目录
前言
前提:本项目使用的是Python语言,用户界面使用的是html,通过vue框架来实现的。所以:需要掌握和具备这些前提知识
知识其实在我另外的文章分享了
像其他已经完成的系列一样,本AI大模型对话系列,力求分享的非常清楚,所以把各个关键节点知识拆分成了多个文章。每个文章仅仅说明一个主题,建议前后关联查看:
java --> springboot+vue
手搓vue+springboot实现web
从0开始,分享了通过vue+springboot去关联操作网页数据((RESTful风格和swagger的使用))
1.【2025年】基于电脑的jdk1.8通过idea创建springboot2.x版本(非常简洁快速)
从1到12.非常简介的,分享了包括创建springboot项目(mybatisPlus等) 使用node.js创建vue项目(element风格的使用 路由等等)。里面有各个技术的语法,最后实现首页显示表格数据 及 其网页操作数据库的增删改查
目前我们是 用Python作为后台 vue作为用户操作界面(前端)
但是:
AI大模型对话
需要一些逻辑/业务/操作数据库/等等等其他操作,最终还是会放到java里面,Python是处理数据(业务层)的某一部分
用户登陆+注册+还有web的其他若干功能,复杂的业务功能,还会用到现成的/高效的spring(boot,cloud)家族的种种技术来实现web。
当前分享的是一个独苗页面:主要篇幅讲解AI大模型,用Python,,,,但是用户终究要输入一段话啊(像deepSeek),选择也很多不同的用户界面,最终决定用vue,贴合实际一些。~~~~
一、最终的项目结构
最终我们的效果就类似于chatgpt , deepSeek
··在一个网页页面上,有文本框,输入内容
··后台服务器接收到这个数据
··服务器在和模型交互
··将数据交给模型,模型返回结果
··模型返回的结果交给web服务器(当前系列用django,简易一点,后台全python)
··web服务器在把数据对应的交给问了这个问题的对应用户
··页面显示
模型是开源的,大部分情况行业都能直接用的那些
所以:当前系列文章没有分享:自己去写一个模型
上班也是像:当前系列文章这样的,不会自己去训练,不光是技术。成本+电费+xxx+谁出?,如:完成一个AI客服回消息等等,都是用的市面上很多训练好的模型
二、开发项目的准备
1.会魔法(软件准备)
不解释
本来这个想要不要单独写一个文章,讲解魔法
想了想,算了
查看帮帮志 文章总 目录里面
我有很多高校的学生群,目前这个我在高校里面,这个从来不用我讲,他们都会(,不难,哪个学生没有的/不玩儿stenm的/哪怕女生,她到处问一下,几分钟就搞定了),然后我这边拉一个群,可以自己在里面交流。
为什么要会?
有些东西 你不用魔法。。。大模型的 你就不能下载和打不开(除了大模型,其他语言的很多技术,原来还能开,现在都不能了,太多了,随便说一个:docker...)
2.电脑要有显卡好一点(硬件设备)
Nvidia 英伟达的显卡
检测:
在运行端口里面,输入:nvidia-smi

显示如图,表示就是有的
且还需要关注:右上角,有咩有CUDA:

CUDA : 并行计算架构
CUDA 是英伟达公司的,它也仅仅支持英伟达的显卡,不是nvidia或者没有nvidia。装一个CUDA行不行?不行,用不起。
哦~~~~~AMD的不能用CUDA ,不用试了
模型需要算力,它要在这个上面跑
模型需要算力,它要在这个上面跑
模型需要算力,它要在这个上面跑
没有的,也可以跟着我写完。输入了对话,等待可能会非常慢~
有的,后面文章会分享,怎么关联使用上(CUDA 版本很关键,记住自己的,如我的13.上面图片有)~
平时玩儿游戏,把特效开满,nvidia,显卡就在帮你算下一个画面需要显示的数据和颜色~
显卡在电脑配置里面,本身也贵,什么4090啥的,对吧~
下一节:ollama的安装和使用
Ollama是一个支持本地化部署的机器学习框架,专注于模型加载、推理和生成任务,适用于自然语言处理(NLP)等场景
02.【AI大模型对话】安装ollama,ollama环境变量配置及安装详细步骤
序号02:详细分享了ollama安装及配置环境变量,拉取模型命令,设置拉取模型的位置等等,最后测试使用成功~
总结
说明一下:整个这个系列实现AI大模型对话项目。序号文章一共也就10几篇,只有核心图文重点操作步骤来实现这个目标
(包括这个AI大模型的环境搭建,深度学习,数据处理,流输出,流推理等等)
(基本上您边看边写:一个小时或者一上午就能跟着一起手搓一个,然后您可以自行添加功能和内容在您项目里面)
其他扩展细节知识点,本系列省略了(或者有链接)如:
Python语法的
vue语法的
(会陆续更新非常多的IT技术知识及泛IT的电商知识,可以点个关注 ,共同交流。ღ( ´・ᴗ・` )比心)
(也欢迎评论,提问。 我会依次回答~)