【大模型应用】使用 Windows 窗体作为 Copilot 应用程序的 Ollama AI 前端（测试llava视觉问答）...

项目 "WinForm_Ollama_Copilot" 是一个使用Windows Forms作为前端的Ollama AI Copilot应用程序。这个项目的目的是提供一个用户界面(UI)，通过它，用户可以与Ollama AI进行交互。以下是该项目的一些关键特点和功能：

Ollama Copilot: 这是一个为Windows操作系统设计的Ollama AI的用户界面。它允许Copilot响应自动转发到其他应用程序，就像其他付费copilots一样。
集成功能: 该项目包括语音转文本、文本转语音和光学字符识别(OCR)等功能，所有这些都使用免费的开源软件实现。
版本更新: 项目已经经历了多次更新，包括对模型名称中的版本支持、添加打开应用程序文件夹按钮、使用历史记录复选框等功能的增加。
安装程序: 项目包括Windows Installer Setup Project，它包含Python和辅助脚本，以便用户可以轻松安装和运行应用程序。

此外，项目还包括了一些示例脚本和命令，如启动Pyttsx3Server和TesseractOCRServer，这些都是与项目集成的服务。项目还提供了一个安装程序，使用户可以在Windows上安装和运行Ollama Copilot。

测试本地大模型llava:latest

LLaVA（Large Language and Vision Assistant）是一个由威斯康星大学麦迪逊分校、微软研究院和哥伦比亚大学研究者共同发布的多模态大模型。这个模型结合了语言和视觉处理能力，旨在提供一个通用的助手，能够有效地遵循多模态指令，例如视觉或语言的指令，满足人类的意图，在真实环境中完成各种任务。

LLaVA模型的主要特点包括：

多模态指令数据：使用ChatGPT/GPT-4将图像-文本对转换为适当的指令格式，以支持模型的训练。
大型多模态模型：通过连接CLIP的开源视觉编码器和语言解码器LLaMA，开发了一个大型多模态模型（LMM），并在生成的视觉-语言指令数据上进行端到端微调。
开源：研究者向公众发布了生成的多模式指令数据、用于数据生成和模型训练的代码库、模型检查点和可视化聊天演示。

LLaVA模型在多模态理解和生成方面展现出了强大的能力，尤其是在视觉问答、图像描述等任务上。它已经在多个基准测试中展现出了新的状态最优（SOTA）成绩，成为OpenAI的GPT-4V的有力竞争对手。

主界面切换到Config 页选择已安装的Ollama模型**"llava:latest"**

切换到Prompt 进行文本提问（Ctrl+Enter提交）

修改提示词，准备对图片进行问答

切换到Images页面

复制一张图片，点击Paste，之后Submit

（提示词）识别图片内容，请用中文回答，下面为对图片的描述

markdown 复制代码

这张图片中的内容是：


* 一位腹肌发达的男性，他正站在一个红色的单车上。
* 男性戴着黑色的运动服装和白色的球鞋。
* 周围有一些建筑物和城市环境。
* 男性肌肉发达，展现出来是一个健身人士，可能是一个健身教练或者单车运动员。


无法确定他的具体职业，但他确实有很好的身材和身材健康的生活习惯。

再复制一张图片，先点击Clear，再点击Paste，最后Submit

go 复制代码

这张图片是一张街道上的行走者，她正在过马路，而且有一些交通设施，
比如自行车道和烧瓜机。这个女人身上没有背包，因此不能确定她是否携带物品。
当然，图片中的其他细节也可以看出这是一个公共地区。

图片描述结果

go 复制代码

翻译为中文：
图像显示一名行人在红绿灯处过马路。这个人正在穿过人行横道，人行横道有斑马
线图案。他们穿着蓝色牛仔裤和深色上衣，一只脚抬起，仿佛在跨步中。这个人提
着一个手提包，似乎在向前看。
街道本身非常繁忙，有许多车辆，包括停放和行驶的汽车和卡车。图像左侧有一辆
白色货车，背景中还可以看到其他几辆车。角落里还有一个交通信号灯，表明这是
一个有管制的十字路口。
图像中没有可见的文字。整个场景表明这是一个有正常交通状况的城市环境。这个
人的动作暗示他们正在遵守在指定区域过马路的规则。

英文提示词：Describe this image 或 "What is shown in this image?"

注：中文效果可能没有英文详细。而且每次回答不尽相同

参考网址

https://github.com/tgraupmann/WinForm_Ollama_Copilot/releases/tag/v1.0.5 程序下载地址