【AIGC半月报】AIGC大模型启元:2024.10(下)

【AIGC半月报】AIGC大模型启元:2024.10(下)

    • [(1) Janus(两面神)(DeepSeek 1.3B多模态大模型)](#(1) Janus(两面神)(DeepSeek 1.3B多模态大模型))
    • [(2) Stable Diffusion 3.5(StabilityAI文生图大模型)](#(2) Stable Diffusion 3.5(StabilityAI文生图大模型))
    • [(3) Mochi 1(Genmo视频生成大模型)](#(3) Mochi 1(Genmo视频生成大模型))

(1) Janus(两面神)(DeepSeek 1.3B多模态大模型)

2024.10.21 DeepSeek开源了一个仅1.3B大小的多模态大模型:Janus(两面神),统一了多模态理解和生成。通过将视觉编码解耦成独立的pathway,同时仅使用一个统一的transformer架构进行处理。Janus在多模态理解和生成基准测试中超越了以往的统一模型,作为一个多模态"小"模型具有显著的优势。

  Janus 是一个统一的多模态理解和生成的大型语言模型(MLLM),它将多模态理解和生成的视觉编码解耦。Janus 基于 DeepSeek-LLM-1.3b-base 构建,该模型训练时使用了大约5000亿个文本token的语料库。在多模态理解方面,它使用 SigLIP-L 作为视觉编码器,支持384 x 384像素的图像输入。在图像生成方面,Janus 使用了LlamaGen的tokenizer,并且具有16倍的下采样率。

推荐文章: 仅1.3B!Janus 统一多模态理解和生成
开源地址:

Paper: https://arxiv.org/abs/2410.13848

Github: https://github.com/deepseek-ai/Janus

Model: https://huggingface.co/deepseek-ai/Janus-1.3B

(2) Stable Diffusion 3.5(StabilityAI文生图大模型)

2024.10.22 StabilityAI最新发布了Stable Diffusion 3.5,这次公开发布包括多个模型,包括Stable Diffusion 3.5 Large和Stable Diffusion 3.5 Large Turbo。此外,Stable Diffusion 3.5 Medium将于10月29日发布。这些模型因其大小而具有高度的可定制性,可以在消费级硬件上运行,并且根据宽容的Stable AI社区许可证,可以免费用于商业和非商业用途。目前已经可以Hugging Face下载模型,同时推理代码也已经开源

  Stable Diffusion 3.5是Stable Diffusion 3的升级版,主要有三个版本:

  • Stable Diffusion 3.5 Large:8B参数大小,具有卓越的出图质量和提示词遵循能力,是Stable Diffusion家族中最强大的模型。这个模型非常适合专业使用案例,尤其是在1百万像素分辨率下。
  • Stable Diffusion 3.5 Large Turbo:作为Stable Diffusion 3.5 Large的蒸馏版本,它在仅4步内就能生成高质量图像,并且具有出色的提示词遵循能力,使其比Stable Diffusion 3.5 Large快得多。
  • Stable Diffusion 3.5 Medium(将于10月29日发布):2.5B参数大小,通过改进的MMDiT-X架构和训练方法,旨在在消费级硬件上"即开即用",在质量和定制便捷性之间取得平衡。它能够生成分辨率在0.25到2百万像素之间的图像。

推荐文章: Flux危,SD 3.5王者归来!个人可以免费商用!
开源地址:

Hugging Face:https://huggingface.co/stabilityai

GitHub:https://github.com/Stability-AI/sd3.5

(3) Mochi 1(Genmo视频生成大模型)

2024.10.23 新的视频生成模型Mochi 1发布并开源,Mochi 1在动作质量上展现了显著的改进,同时也具有极强的提示词遵循能力,而且从评测上超过可灵和Gen-3。在Apache 2.0许可证下,目前放出的Mochi 1的预览版可以免费用于个人和商业用途。

  Mochi 1的背后是创业公司Genmo,其团队成员包括DDPM、DreamFusion和Emu Video等项目的核心技术成员。而且Genmo已经完成了由NEA领投的2840万美元A轮融资。

  动作质量和提示词遵循能力是视频生成模型两个最关键的能力。Mochi 1作为一个开源模型,它与领先的封闭商业模型相比也具有非常强的竞争力。具体来说,我们Mochi 1的预览版在以下方面表现出色:

  • 提示词遵循能力:与文本提示词保持一致性,确保生成的视频准确地反映给定的指令。这使用户能够对角色、设定和动作进行详细控制。这里使用视觉语言模型作为评判,遵循OpenAI DALL-E 3的协议,通过自动化指标来评估提示词遵循。这里具体使用Gemini-1.5-Pro-002评估生成的视频。
  • 动作质量:Mochi 1以每秒30帧的流畅度生成长达5.4秒的视频,具有高时间连贯性和逼真的动作动态。Mochi模拟了流体动力学、毛发和头发模拟等物理现象,并表达出一致、流畅的人类动作,开始跨越恐怖谷。评分者被指示专注于动作而非帧级美学(标准包括动作的有趣性、物理上的合理性和流畅性)。Elo分数是按照LMSYS Chatbot Arena协议计算的。

推荐文章: 超过可灵和Gen-3,10B视频生成模型Mochi 1开源!
开源地址:

模型权重:https://huggingface.co/genmo/mochi-1-preview

在线体验:https://genmo.ai/play

代码:https://github.com/genmo/models

相关推荐
code2cat12 分钟前
【随笔】MCP长任务:查询已经返回,为什么任务还没有完成
javascript·人工智能·后端·mcp
玄魂34 分钟前
小红书/抖音图文排版利器——一个杂志风skill
人工智能·agent·视觉设计
写标小何1 小时前
AI 标书工具技术架构解析:从文件解析到排版导出的工程实践
人工智能
敖老师1 小时前
DeepSeek Harness Web 版从装到用:dsh web 启动、接入本地 Ollama 全流程
人工智能
阿里云大数据AI技术1 小时前
DataWorks AI 数据生成:一条配置,量产多行业的仿真级业务数据
人工智能
QA老兵的AI实战手记1 小时前
别再用人工盯 AI 幻觉了:我手搓了一套带“代码审查拦截”的 AI 效能大屏(附源码)
人工智能
Nturmoils1 小时前
文件明明在本地,为什么自动验收仍说没交?我的 SoduWork 使用记录
aigc
火山引擎开发者社区1 小时前
APMPlus・看得见的 Agent(三) | Agent 说完成,结果却不对?APMPlus Agent 轨迹帮你查清执行过程
人工智能
羲云网络1 小时前
Claude Fable 5.2 创意编程分析:程序化生成、多智能体协作与工程验收
人工智能·大语言模型·blender·游戏开发
Linye1 小时前
HTML 流程图连线交叉看不清?聊聊画布避障折线与跳弧实现
前端·人工智能