AI新工具(20240306) mlx-swift-chat Mac运行本地模型;Comflowyspace开源AI图像和视频生成工具

1: mlx-swift-chat

专为 Apple 硅片设计的高效机器学习框架,支持在本地实时运行 LLM 模型(如 Llama、Mistral)

mlx-swift-chat 是一个为苹果系统(例如你的笔记本电脑上的Apple Silicon)特别设计的机器学习框架 MLX 的应用。它是一个完全基于 SwiftUI 的本地应用,能够实时在苹果硅片上运行本地大型语言模型(LLMs),比如 Llama 或 Mistral。这意味着你可以在不依赖云服务的情况下,在你自己的设备上高效运行强大的语言模型。

地址:https://github.com/PreternaturalAI/mlx-swift-chat

2: Comflowyspace

提供比标准SDWebUI和ComfyUI更佳、更互动体验的开源AI图像和视频生成工具

Comflowyspace是一个旨在提供比标准SDWebUI和ComfyUI更好、更互动的体验的开源AI图像和视频生成工具。这个工具试图解决一些人们对学习或参与AI生成波潮持有的犹豫,主要是因为所需的工具往往过于复杂。它的目的是让更多人能够更容易地使用ComfyUI和Stable Diffusion,无论是下载安装、插件管理、工作流模板还是过程编辑,每一步都设计得很细致。

地址:https://github.com/6174/comflowyspace

3: Design2Code

将视觉设计直接转换为前段代码自动化前端工程流程

Design2Code是一个新的前端开发范式,它利用生成式人工智能技术,可以将视觉设计直接转换为代码实现,从而自动化前端工程流程。这项工作提供了首个系统性研究,名为Design2Code任务,对此进行了深入研究。研究团队手动策划了484个真实网页作为测试案例,并开发了一套自动评估指标,以评估当前多模态LLM(语言-视觉模型)能否生成直接呈现给定参考网页的代码实现。他们还展示了一系列多模态提示方法,并展示了它们在GPT-4V和Gemini Vision Pro上的有效性。研究团队还对一个开源的Design2Code-18B模型进行了微调,成功与Gemini Pro Vision的性能相匹配。人工评估和自动指标表明,在这项任务中,GPT-4V是明显的优胜者。在视觉外观和内容方面,评注员认为GPT-4V生成的网页在49%的情况下可以取代原始参考网页,并且令人惊讶的是,在64%的情况下,GPT-4V生成的网页甚至被认为比原始参考网页更好。详细的指标显示,开源模型在从输入网页中召回视觉元素和生成正确的布局设计方面大多落后,而文本内容和颜色等方面可以通过适当的微调得到显著改善。

地址:https://salt-nlp.github.io/Design2Code/

4: ResAdapter

解决了文本到图像模型生成超出其训练域分辨率的图像的问题

ResAdapter是一种领域一致的分辨率适配器,旨在为扩散模型(例如SD和个性化模型)生成具有无限制分辨率和宽高比的图像。与其他多分辨率生成方法不同,ResAdapter直接生成具有动态分辨率的图像,这意味着它能够有效地进行推断,而无需重复去噪步骤和复杂的后处理操作,从而消除了额外的推断时间。ResAdapter还通过广泛的分辨率先验增强了其效果,而无需来自训练领域的任何风格信息。综合实验证明了ResAdapter与扩散模型在分辨率插值和输出方面的有效性。更广泛的实验表明,ResAdapter与其他模块(例如ControlNet、IP-Adapter和LCM-LoRA)兼容,能够生成具有灵活分辨率的图像,并且可以集成到其他多分辨率模型(例如ElasticDiffusion)中,以有效地生成更高分辨率的图像。

地址:https://res-adapter.github.io/

5: TripoSR

stability推出的从单个图像快速生成3D对象

TripoSR是一个3D重建模型,通过技术改进和数据准备,它能够以更高的准确性和效率进行三维重建。训练数据准备采用了多种数据渲染技术,更贴近真实世界图像的分布,显著提高了模型的泛化能力。TripoSR模型在基础LRM模型的基础上引入了一些技术改进,包括通道数量优化、遮罩监督和更高效的裁剪渲染策略。

地址:https://github.com/VAST-AI-Research/TripoSR

更多AI工具,参考国内AiBard123Github-AiBard123

相关推荐
Sirius Wu21 分钟前
深入浅出:Tongyi DeepResearch技术解读
人工智能·语言模型·langchain·aigc
忙碌5441 小时前
AI大模型时代下的全栈技术架构:从深度学习到云原生部署实战
人工智能·深度学习·架构
LZ_Keep_Running1 小时前
智能变电巡检:AI检测新突破
人工智能
Yooooung_Lee1 小时前
七家咨询公司的PPT标准配色模版(macos+Office LTSC Standard for Mac 2024)
macos·powerpoint
InfiSight智睿视界1 小时前
AI 技术助力汽车美容行业实现精细化运营管理
大数据·人工智能
没有钱的钱仔2 小时前
机器学习笔记
人工智能·笔记·机器学习
Digitally2 小时前
如何在Mac上同步iPhone短信
macos·ios·iphone
听风吹等浪起2 小时前
基于改进TransUNet的港口船只图像分割系统研究
人工智能·深度学习·cnn·transformer
好想早点睡.2 小时前
Mac安装pnpm步骤以及会出现的问题
macos
化作星辰3 小时前
深度学习_原理和进阶_PyTorch入门(2)后续语法3
人工智能·pytorch·深度学习