模型和算力看板:Compute DashBoard

AGI 之路

AGI(通用人工智能)是整个计算机科学的圣杯,算力的增长和模型能力的提升(算法和数据)缺一不可。作为一个新质生产力,构建一个合理的评价体系是常用的方法论。针对模型和算力的评价,有类似MLPerf 这样的第三方评价组织, 但其数据主要依赖各个厂家进行提交,包含单机和服务器的各项指标,通常很难比较单一GPU或者单一模型的各项能力。

我们在选择云服务或者单机服务器时,基于现有模型如何匹配合适的算力,通常是一件糟心的事情,考虑到算力的昂贵,需要物尽其用,综合考虑现存/算力/带宽/散热 等影响因子。Compute DashBoard 从算力的角度出发,整理了各家国内外数据中心推理训练卡的各项参数,囊括了包含封装,互联以及算力指标等性能参数,可以为模型部署提供参考,同时如果你是一个芯片行业从业者,从产品角度,提供了一个竞品的功能和性能参考。

除此之外,Compute DashBoard 还提供了各个主流LLM开源模型在不同参数匹配情况下的Performance Benchmark, 包括首字延时/平均延时和吞吐。

使用指引

访问Compute DashBoard 网站:ostring.streamlit.app

进入主页后,Home 页是一个GPU Evolution 的Timeline 页面,希望呈现出各个阶段代表性的GPU 产品,AIGC 作为一个时代的Milestone, 产品也应该有它自己的Milestone,持续进化中。

GPUs 页面,我们可以选择芯片厂商,同时在对应的列表中选择支持的加速器产品

Models页面,目前支持市面上绝大多数开源的LLM模型,基于GPU 的性能数据,我们以柱状图的形式展示其在不同的GPU 平台上的延时和吞吐数据。

访问申请

Compute DashBoard 基于streamlit 作为开发框架快速搭建,基于streamlit community cloud进行部署。

  • step1: 登录streamlit cloud注册一个账号

  • step2: 关注微信公众号OString2024或者CSDN OString2024,后台私信您的streamlit 账号(邮箱号:xxxx@xxx.com)

  • step3: 博主在后台添加对应账号即可访问:ostring.streamlit.app

由于模型性能数据均由个人租用真实GPU来进行性能读出并整理至数据库,租用GPU会产生一定费用, 因此访问申请会逐渐放开,或者考虑收取少量费用,敬请了解。

期待

欢迎大家后台反馈你们的需求。

后续还会持续上线:

  • Diffusion/VIT 模型的benchmark;
  • 充实GPU 家族
  • 各厂家MLPerf 的性能结果
相关推荐
Yo_Becky24 分钟前
【PyTorch】PyTorch预训练模型缓存位置迁移,也可拓展应用于其他文件的迁移
人工智能·pytorch·经验分享·笔记·python·程序人生·其他
DeepSeek-大模型系统教程27 分钟前
深入金融与多模态场景实战:金融文档分块技术与案例汇总
人工智能·ai·语言模型·程序员·大模型·大模型学习·大模型教程
xinxiangwangzhi_32 分钟前
pytorch底层原理学习--PyTorch 架构梳理
人工智能·pytorch·架构
yzx99101336 分钟前
关于网络协议
网络·人工智能·python·网络协议
AiTEN_Robot37 分钟前
AGV 无人叉车关键技术问题解析:精准定位算法 / 安全避障逻辑 / 系统对接协议全方案
人工智能·机器人·自动化·制造
云天徽上38 分钟前
【PaddleOCR】OCR常见关键信息抽取数据集,包含FUNSD、XFUND、WildReceipt等整理,持续更新中......
人工智能·计算机视觉·信息可视化·paddlepaddle·paddleocr·文本识别
zskj_zhyl39 分钟前
智绅科技:以科技为翼,构建养老安全守护网
人工智能·科技·安全
刘海东刘海东40 分钟前
结构型智能科技的关键可行性——信息型智能向结构型智能的转换(提纲)
人工智能
Jay Kay1 小时前
TensorFlow源码深度阅读指南
人工智能·python·tensorflow
FF-Studio2 小时前
【硬核数学 · LLM篇】3.1 Transformer之心:自注意力机制的线性代数解构《从零构建机器学习、深度学习到LLM的数学认知》
人工智能·pytorch·深度学习·线性代数·机器学习·数学建模·transformer