Genmo团队开发的前沿AI视频生成模型;Fragments支持安全执行 AI 生成的代码;Meta开源从视频中学习仿生

✨ 1: Mochi 1

Mochi 1是一个先进的视频生成模型,具有高保真度和强大的提示遵循能力。

Mochi 1是由Genmo团队开发的前沿视频生成模型,它是当前开源视频生成技术的重大进展,具有高保真度的运动和强烈的提示遵循能力。该模型基于一种新的不对称扩散变换器(AsymDiT)架构,拥有100亿个参数,能够在开放和封闭视频生成系统之间缩小差距。Mochi 1以Apache 2.0许可发布,并可在其官方网站的在线平台上免费试用。

Mochi 1的高效性和灵活性使其在多种行业中都有很大的潜力,虽然当前在480p分辨率下生成视频,且对动画内容表现不佳,但随着社区的持续改进和优化,未来可能会扩展更多功能和应用场景。

地址:https://github.com/genmoai/models

✨ 2: Fragments by E2B

Fragments by E2B 是一个开源项目,支持安全执行 AI 生成的代码,兼容多种技术栈和 LLM 提供商。

Fragments by E2B 是一个开源项目,基于 Anthropics 的 Claude Artifacts、Vercel v0 和 GPT Engineer 开发。该项目利用 E2B SDK 来安全地执行由人工智能生成的代码,支持多种编程语言和技术栈。

地址:https://github.com/e2b-dev/fragments

✨ 3: POC Python Realtime API o1 assistant

该项目展示了如何使用OpenAI的实时API构建个性化AI助手,支持工具链和结构化输出。

POC Python Realtime API o1助手是一个概念验证项目,旨在利用OpenAI的实时API,实现工具链的调用、o1-preview和o1-mini的集成、结构化输出的响应处理,从而展望未来的智能助手工程。该项目包含许多核心思想,旨在打造个人化的实时AI助手与AI代理。虽然目前的代码版本(v0.3)存在一些bug,但提供了丰富的功能和使用场景。

该助手通过音频输入/输出、多种工具集成和记忆管理,实现与用户的互动,支持个性化设置。用户可以通过修改配置文件来定制助手的行为,包括浏览器链接、助理名称、SQL方言等。

地址:https://github.com/disler/poc-realtime-ai-assistant

✨ 4: Agent-to-Sim

Agent-to-Sim项目通过学习日常视频中的互动行为,推动了4D重建和动作生成技术的发展。

Agent-to-Sim(A2S)是一个旨在从日常视频中学习交互行为的项目。通过分析丰富的视觉和动作信息,A2S可以生成3D重建和运动生成。该项目主要应用于需要模仿和理解人类或动物行为的情境,特别是在强化学习和机器人技术等领域。

地址:https://github.com/facebookresearch/agent2sim

✨ 5: Agent-0

Agent-0是一个概念验证项目,旨在模仿OpenAI O1模型的推理能力,通过链式思考技术逐步优化编码问题的解决方案。

Agent-0 是一个旨在复制 OpenAI 新发布的 O1 模型推理能力的概念证明项目。O1模型利用链式思维提示和强化学习,通过不断反思其解决方案来改善响应。Agent-0 旨在使用其他替代模型模拟这种推理行为。

在这个实现中,Agent-0 使用一个基于顺序代理的系统,依托 Gemini API(或任何具有函数调用能力的模型)。该系统能够针对编码相关的问题提出解决方案,并在每个阶段通过链式思维和反思技术进行迭代优化。由于 Gemini API 具备代码执行能力,非常适合用于此项目。虽然它也可以与 Gemini Flash 配合使用,但建议使用 Pro 版本,以避免外部包依赖问题,因为 Pro 版本一般会遵循 Python 的标准库。

地址:https://github.com/PromtEngineer/Agent-0

更多AI工具,参考国内AiBard123Github-AiBard123 公众号:每日AI新工具

相关推荐
sp_fyf_20249 分钟前
【大语言模型】ACL2024论文-19 SportsMetrics: 融合文本和数值数据以理解大型语言模型中的信息融合
人工智能·深度学习·神经网络·机器学习·语言模型·自然语言处理
CoderIsArt12 分钟前
基于 BP 神经网络整定的 PID 控制
人工智能·深度学习·神经网络
网安-轩逸17 分钟前
网络安全、Web安全、渗透测试之笔经面经总结
安全·web安全
follycat23 分钟前
信息收集--CDN绕过
网络·安全·网络安全
开源社25 分钟前
一场开源视角的AI会议即将在南京举办
人工智能·开源
FreeIPCC26 分钟前
谈一下开源生态对 AI人工智能大模型的促进作用
大数据·人工智能·机器人·开源
机器之心44 分钟前
全球十亿级轨迹点驱动,首个轨迹基础大模型来了
人工智能·后端
z千鑫1 小时前
【人工智能】PyTorch、TensorFlow 和 Keras 全面解析与对比:深度学习框架的终极指南
人工智能·pytorch·深度学习·aigc·tensorflow·keras·codemoss
EterNity_TiMe_1 小时前
【论文复现】神经网络的公式推导与代码实现
人工智能·python·深度学习·神经网络·数据分析·特征分析
黑客Ela1 小时前
网络安全问题概述
安全·web安全·php