效果炸裂!使用 GPT-4o 快速实现LLM OS

使用 GPT-4o 快速实现LLM OS

  • [什么是 LLM OS?](#什么是 LLM OS?)
    • [LLM OS 主要有以下5个部分组成:](#LLM OS 主要有以下5个部分组成:)
  • [LLM OS 开源实现](#LLM OS 开源实现)
  • [运行 LLM OS 开源实现](#运行 LLM OS 开源实现)

什么是 LLM OS?

关于 LLM OS 的最初构想源自@karpathy 在2023年11月11日发布的一条Twitter 动态,这是 LLM OS 概念的最早出处,如下图所示:

LLM OS 主要有以下5个部分组成:

  • 第一、 LLM 作为 「CPU」:OpenAI GPT-4 Turbo;

    256 核心(即 batch size,数据送入 LLM 的批次大小)

    处理器频率 @ 20Hz (tok/s,即吐 token 的速度)

  • 第二、 上下文窗口大小作为 「RAM」: 128Ktok(GPT-4 Turbo 的水平);

  • 第三、 嵌入工具作为「文件系统」: Ada002 是 OpenAI 的文本嵌入工具;

  • 第四、 外设 I/O:视频、音频;

  • 第五、 以太网:浏览器;

  • 第六、 软件 1.0 工具:经典计算机,计算器、代码解释器、终端等等;

  • 第七、 可与其他 LLM 互联。

LLM OS 开源实现

随着 OpenAI 发布 GPT-4o,语音、视频等多模态的输入和输出,让 LLM OS 的实现成为可能。接下来我们详细介绍下 LLM OS 的开源实现,目前已有 8.6k Stars,Github 地址如下所示:
https://github.com/phidatahq/phidata/tree/main/cookbook/llm_os

LLM OS 的整体架构设计如下图所示:


第一、大语言模型(LLMs)是新兴操作系统的核心进程。

  • 这个进程(LLM)可以通过协调其他资源(内存、计算工具)来解决问题。

第二、LLM 操作系统:

  • 可以读取/生成文本;
  • 关于所有主题的知识都比任何单个人类更丰富;
  • 可以浏览互联网;
  • 可以使用现有的软件基础设施(计算器、Python、鼠标/键盘);
  • 可以查看和生成图像和视频;
  • 可以听和说,并生成音乐;
  • 可以使用 System2 进行长时间的思考;
  • 可以在特定领域"自我提升;
  • 可以针对特定任务进行定制和微调;
  • 可以与其他 LLM 进行通信。

运行 LLM OS 开源实现

运行 LLM OS 开源实现 phidata 只需要简单如下 5步操作:

第一步:Create a virtual environment

python 复制代码
python3 -m venv ~/.venvs/aienv
source ~/.venvs/aienv/bin/activate

第二步:Install libraries

python 复制代码
pip install -r cookbook/llm os/requirements.txt

第三步:Export credentials

  • Our initial implementation uses GPT-4, so export your OpenAl APl Key
python 复制代码
export OPENAI API KEY=***
  • To use Exa for research, export your EXA _API_KEY
python 复制代码
export EXA API KEY=xxX

第四步:Run PgVector

We use PgVector to provide long-term memory and knowledge to the LLM Os. Please install docker desktop and runPaVector using either the helper script or the docker run command.

  • Run using a helper script
python 复制代码
./cookbook/run pgvector.sh
  • OR run using the docker run command
python 复制代码
docker run -d \
-e POSTGRES DB=ai \
-e POSTGRES USER=ai \
-e POSTGRES PASSWORD=ai \
-e PGDATA=/var/lib/postgresql/data/pgdata \
-v pgvolume:/var/lib/postgresql/data \
-p 5532:5432 \
--name pgvector \
phidata/pgvector:16

第五步:Run the LLM OS App

python 复制代码
streamlit run cookbook/llm os/app.Py
  • Open localhost:8501 to view your LLM OS.
  • Add a blog post to knowledge base: https://blog.samaltman.com/gpt-4o
  • Ask: What is gpt-4o?
  • Web search: Whats happening in france?
  • Calculator: Whats 10!
  • Enable shell tools and ask: is docker running?
  • Enable the Research Assistant and ask: write a report on the ibm hashicorp acquisition
  • Enable the Investment Assistant and ask: shall i invest in nvda?
相关推荐
IMPYLH25 分钟前
Python 的内置函数 reversed
笔记·python
.30-06Springfield29 分钟前
人工智能概念之七:集成学习思想(Bagging、Boosting、Stacking)
人工智能·算法·机器学习·集成学习
说私域2 小时前
基于开源AI智能名片链动2+1模式S2B2C商城小程序的超级文化符号构建路径研究
人工智能·小程序·开源
永洪科技2 小时前
永洪科技荣获商业智能品牌影响力奖,全力打造”AI+决策”引擎
大数据·人工智能·科技·数据分析·数据可视化·bi
shangyingying_12 小时前
关于小波降噪、小波增强、小波去雾的原理区分
人工智能·深度学习·计算机视觉
小赖同学啊2 小时前
物联网数据安全区块链服务
开发语言·python·区块链
码荼3 小时前
学习开发之hashmap
java·python·学习·哈希算法·个人开发·小白学开发·不花钱不花时间crud
书玮嘎3 小时前
【WIP】【VLA&VLM——InternVL系列】
人工智能·深度学习
猫头虎3 小时前
猫头虎 AI工具分享:一个网页抓取、结构化数据提取、网页爬取、浏览器自动化操作工具:Hyperbrowser MCP
运维·人工智能·gpt·开源·自动化·文心一言·ai编程
要努力啊啊啊3 小时前
YOLOv2 正负样本分配机制详解
人工智能·深度学习·yolo·计算机视觉·目标跟踪