如何使用llm 制作多模态

首先将任何非字符的序列信息使用特殊n个token 编码。

具体编码方法以图像为例子说明:

将固定尺寸图像如256256 的图像分割为16 16 的子图像块。

将已知的所有图像数据都分割后进行str将其看做是一个长的字符,而后去重后方式一个词表。

使用特殊1024 个token 表示该词表。由于词表远远大于该特殊token 的个数,必须使用 多个位的特殊token 表示,例如

使用两位 token 表示 能 1024*1024 词 可以不断的 累乘 直到大于词表大小 固定使用 这些位的token 且 小的要前面填充0 token。

例如 0,0,1023 表示一个子图。这样就可以使用 1024 个token 表示词表。

这样将整个数据集和特殊token 建立映射关系。只要设计一个神经网络学习整个映射关系,就能实现任意图像和特殊token之间的转换。

反过来任意特殊token 也能转换为任意图像。

通过上面的例子可以同样的将任务声音进行转换。

也可以将任意视频信息进行转换。

总之只要数据量足够就能完全模拟任何信息。且能通过文字控制任何信息的生成。

当前是如何制作两个完全有效学习特殊token和这些信息的互转的神经网络。

相关推荐
花酒锄作田17 分钟前
使用 pkgutil 实现动态插件系统
python
前端付豪4 小时前
LangChain链 写一篇完美推文?用SequencialChain链接不同的组件
人工智能·python·langchain
曲幽4 小时前
FastAPI实战:打造本地文生图接口,ollama+diffusers让AI绘画更听话
python·fastapi·web·cors·diffusers·lcm·ollama·dreamshaper8·txt2img
老赵全栈实战5 小时前
Pydantic配置管理最佳实践(一)
python
阿尔的代码屋11 小时前
[大模型实战 07] 基于 LlamaIndex ReAct 框架手搓全自动博客监控 Agent
人工智能·python
AI探索者1 天前
LangGraph StateGraph 实战:状态机聊天机器人构建指南
python
AI探索者1 天前
LangGraph 入门:构建带记忆功能的天气查询 Agent
python
FishCoderh1 天前
Python自动化办公实战:批量重命名文件,告别手动操作
python
躺平大鹅1 天前
Python函数入门详解(定义+调用+参数)
python
曲幽1 天前
我用FastAPI接ollama大模型,差点被asyncio整崩溃(附对话窗口实战)
python·fastapi·web·async·httpx·asyncio·ollama