效果炸裂！使用 GPT-4o 快速实现LLM OS

使用 GPT-4o 快速实现LLM OS

[什么是 LLM OS？](#什么是 LLM OS？)
- [LLM OS 主要有以下5个部分组成：](#LLM OS 主要有以下5个部分组成：)
[LLM OS 开源实现](#LLM OS 开源实现)
[运行 LLM OS 开源实现](#运行 LLM OS 开源实现)

什么是 LLM OS？

关于 LLM OS 的最初构想源自@karpathy 在2023年11月11日发布的一条Twitter 动态，这是 LLM OS 概念的最早出处，如下图所示：

LLM OS 主要有以下5个部分组成：

第一、 LLM 作为「CPU」：OpenAI GPT-4 Turbo；

256 核心(即 batch size，数据送入 LLM 的批次大小)

处理器频率 @ 20Hz (tok/s，即吐 token 的速度)
第二、 上下文窗口大小作为「RAM」: 128Ktok(GPT-4 Turbo 的水平)；
第三、 嵌入工具作为「文件系统」: Ada002 是 OpenAI 的文本嵌入工具；
第四、 外设 I/O：视频、音频；
第五、 以太网：浏览器；
第六、 软件 1.0 工具：经典计算机，计算器、代码解释器、终端等等；
第七、 可与其他 LLM 互联。

LLM OS 开源实现

随着 OpenAI 发布 GPT-4o，语音、视频等多模态的输入和输出，让 LLM OS 的实现成为可能。接下来我们详细介绍下 LLM OS 的开源实现，目前已有 8.6k Stars，Github 地址如下所示：
https://github.com/phidatahq/phidata/tree/main/cookbook/llm_os

LLM OS 的整体架构设计如下图所示：

第一、大语言模型（LLMs）是新兴操作系统的核心进程。

这个进程（LLM）可以通过协调其他资源（内存、计算工具）来解决问题。

第二、LLM 操作系统：

可以读取/生成文本；
关于所有主题的知识都比任何单个人类更丰富；
可以浏览互联网；
可以使用现有的软件基础设施（计算器、Python、鼠标/键盘）；
可以查看和生成图像和视频；
可以听和说，并生成音乐；
可以使用 System2 进行长时间的思考；
可以在特定领域"自我提升；
可以针对特定任务进行定制和微调；
可以与其他 LLM 进行通信。

运行 LLM OS 开源实现

运行 LLM OS 开源实现 phidata 只需要简单如下 5步操作：

第一步：Create a virtual environment

python 复制代码

python3 -m venv ~/.venvs/aienv
source ~/.venvs/aienv/bin/activate

第二步：Install libraries

python 复制代码

pip install -r cookbook/llm os/requirements.txt

第三步：Export credentials

Our initial implementation uses GPT-4, so export your OpenAl APl Key

python 复制代码

export OPENAI API KEY=***

To use Exa for research, export your EXA _API_KEY

python 复制代码

export EXA API KEY=xxX

第四步：Run PgVector

We use PgVector to provide long-term memory and knowledge to the LLM Os. Please install docker desktop and runPaVector using either the helper script or the docker run command.

Run using a helper script

python 复制代码

./cookbook/run pgvector.sh

OR run using the docker run command

python 复制代码

docker run -d \
-e POSTGRES DB=ai \
-e POSTGRES USER=ai \
-e POSTGRES PASSWORD=ai \
-e PGDATA=/var/lib/postgresql/data/pgdata \
-v pgvolume:/var/lib/postgresql/data \
-p 5532:5432 \
--name pgvector \
phidata/pgvector:16

第五步：Run the LLM OS App

python 复制代码

streamlit run cookbook/llm os/app.Py

Open localhost:8501 to view your LLM OS.
Add a blog post to knowledge base: https://blog.samaltman.com/gpt-4o
Ask: What is gpt-4o?
Web search: Whats happening in france?
Calculator: Whats 10!
Enable shell tools and ask: is docker running?
Enable the Research Assistant and ask: write a report on the ibm hashicorp acquisition
Enable the Investment Assistant and ask: shall i invest in nvda?