当大语言模型遇到AI绘画-google gemma与stable diffusion webui融合方法-矿卡40hx的AI一体机

你有想过建一台主机,又能AI聊天又能AI绘画,还可以直接把聊天内容直接画出来的机器吗?

当Google最新的大语言模型Gemma碰到stable diffusion webui会怎么样?

首先我们安装stable diffusion webui(automatic1111开源项目)我安装的是forge分支,可以参考我的另一篇文章。安装完成后,简单测试并调优,在启动参数后加一个 --api 这样可以支持外部api调用,同时加 --listen 用于远程访问(因为open-webui是docker方式的,不能直接访问宿主)

然后安装ollama及open-webui, 安装方法参考我的另外一篇文章,安装完成后,在open-webui界面中,settings设置中,找到images,把stable diffusion webui的主机地址及端口号填上去

stable diffusion的模型考虑用SD1.5或者SD2.1的,不要用SDXL的,size填512x512, steps填20 保存退出。

使用方法:

先聊天,英文不会的同学,第一句就写 "中文",然后AI语言就都是中文了。然后你就说一个大致想画的东西,让AI写一段小作文。小作文有时是英文的,有时是中文的,你可以跟AI说 "上文翻译成中文" ,然后点修改文字,修修补补,写完后,保存,再跟AI说"上文翻译成英文" 再点击 绘画,等一下,图就出来了。如果不满意,可以多次点击绘画。就这么简单了。

针对 40HX的提示:40hx显存只有8G, 所以如果要AI语言与AI同时运行,需要对显存与运行负载有规划,SDXL模型与Gemma7b都是直接能把8G显存点满的,所以一个都不能用,SD2.1+Gemma2b 这样的分配,大致是5G+2G的显存组合,刚好能用。其它优化内容见我的另外二个贴子。

相关推荐
郝学胜-神的一滴1 分钟前
二分类任务核心:BCE 损失函数从原理到 PyTorch 实战
人工智能·pytorch·python·算法·机器学习·分类·数据挖掘
ybdesire2 分钟前
间接提示词注入真实样例鉴赏
网络安全·语言模型·漏洞·漏洞分析
愚公搬代码3 分钟前
【愚公系列】《AI绘画:Stable Diffusion ComfyUl的艺术》008-ComfyUI整合包
ai作画·stable diffusion
Nightwish54 分钟前
Linux随记(三十)
linux·运维·mysql·ambari
财经资讯数据_灵砚智能5 分钟前
基于全球经济类多源新闻的NLP情感分析与数据可视化(日间)2026年5月2日
人工智能·python·信息可视化·自然语言处理·ai编程
sali-tec6 分钟前
C# 基于OpenCv的视觉工作流-章58-相机标定
图像处理·人工智能·数码相机·opencv·算法·计算机视觉
一水鉴天7 分钟前
同构异质三表总装体系确立与入表机制闭环验证 20260502(腾讯元宝)
人工智能·算法·机器学习
kalvin_y_liu8 分钟前
人体动作理解和人机共享控制两个研究方向的核心内容
人工智能·具身数据模型
浔川python社9 分钟前
AI 生成视频盛行,会带来哪些利与弊
人工智能
AI科技星9 分钟前
《全域数学》第一部:数术本源·第二卷《算术原本》之十四附录(二)全域数学体系下三大数论猜想的本源推演与哲学阐释【乖乖数学】
人工智能·线性代数·机器学习·量子计算·agi