【2025.5.12】视觉语言模型 (更好、更快、更强)

【2025.5.12】Vision Language Models (Better, Faster, Stronger): https://huggingface.co/blog/vlms-2025

【2024.4.11】Vision Language Models Explained【先了解视觉语言模型是什么】: https://huggingface.co/blog/vlms

nanoVLM: https://github.com/huggingface/nanoVLM

nanoVLM 是最简单的存储库,用于训练/微调小型视觉语言模型,在纯 PyTorch 中具有轻量级实现。代码本身非常可读且易于理解,该模型由视觉主干(模型/vision_transformer.py ~150 行)、语言解码器(模型/language_model.py ~250 行)、模态投影(模型/modality_projection.py ~50 行)和 VLM 本身( models/vision_language_model.py ~100 行)和一个简单的训练循环(train.py ~200 行)组成。
与 Andrej Karpathy 的 nanoGPT 类似,我们希望为社区配备一个非常简单的视觉语言模型的实现和训练脚本。我们并不声称这是一个新的 SOTA 模型,而是一项教育工作,如果您拥有合适的硬件,它会带来相当大的冲击力!您应该能够立即调整和调整代码。

相关推荐
我就是全世界5 分钟前
TensorRT-LLM:大模型推理加速的核心技术与实践优势
人工智能·机器学习·性能优化·大模型·tensorrt-llm
.30-06Springfield9 分钟前
决策树(Decision tree)算法详解(ID3、C4.5、CART)
人工智能·python·算法·决策树·机器学习
我不是哆啦A梦9 分钟前
破解风电运维“百模大战”困局,机械版ChatGPT诞生?
运维·人工智能·python·算法·chatgpt
galaxylove22 分钟前
Gartner发布塑造安全运营未来的关键 AI 自动化趋势
人工智能·安全·自动化
强哥之神2 小时前
英伟达发布 Llama Nemotron Nano 4B:专为边缘 AI 和科研任务优化的高效开源推理模型
人工智能·深度学习·语言模型·架构·llm·transformer·边缘计算
Green1Leaves2 小时前
pytorch学习-9.多分类问题
人工智能·pytorch·学习
kyle~2 小时前
计算机视觉---RealSense深度相机技术
人工智能·数码相机·计算机视觉·机器人·嵌入式·ros·传感器
碣石潇湘无限路3 小时前
【AI篇】当Transformer模型开始学习《孙子兵法》
人工智能·学习
看到我,请让我去学习3 小时前
OpenCV开发-初始概念
人工智能·opencv·计算机视觉
汀沿河3 小时前
8.1 prefix Tunning与Prompt Tunning模型微调方法
linux·运维·服务器·人工智能