开源大模型源代码

开源大模型的源代码可以在多个平台上找到,以下是一些知名的开源大模型及其源代码的获取方式:

  1. **艾伦人工智能研究所的开放大语言模型(Open Language Model,OLMo)**:
  • 提供了完整的模型权重、训练代码、训练日志、消融研究、训练指标和推理代码。

  • 包含了一个高达3T token的预训练开源语料库,以及产生这些训练数据的代码。

  • 提供了四个不同架构、优化器和训练硬件体系下的7B大小的模型,以及一个1B大小的模型,所有模型都在至少2T token上进行了训练。

  • 提供了用于模型推理的代码、训练过程的各项指标以及训练日志<searchIndex index="1" />。

  1. **BERT**:
  1. **ELMo**:
  1. **蚂蚁集团的CodeFuse**:
  • CodeFuse是一个代码大模型,已经开源,可以在HuggingFace下载模型。

  • 开源内容包括代码框架、模型等,其中模型包括CodeFuse-13B、CodeFuse-CodeLlaMa34B-MFT两个大模型。

  1. **DeepSeek Coder**:
  • DeepSeek Coder是一个智能代码助手,可以在Hugging Face和GitHub上开源。

  • 在国际权威数据集的测试中表现出色<searchIndex index="3" />。

  1. **LLaMA**:

请注意,获取开源大模型的源代码时,需要遵守相应的许可协议,并在使用时引用原始来源。同时,由于开源项目的更新和维护可能会发生变化,建议直接访问上述提供的链接以获取最新的源代码和相关信息。

相关推荐
伏虎山真人10 分钟前
开源数据库 - mysql - mysql-server-8.4(gtid主主同步+ keepalived热切换)部署方案
数据库·mysql·开源
小牛itbull3 小时前
ReactPress:构建高效、灵活、可扩展的开源发布平台
react.js·开源·reactpress
IT规划师4 小时前
开源 - Ideal库 - 常用枚举扩展方法(一)
开源·c#·.net core·ideal库·枚举转换
OpenI启智社区5 小时前
共筑开源技术新篇章 | 2024 CCF中国开源大会盛大开幕
人工智能·开源·ccf中国开源大会·大湾区
AI服务老曹5 小时前
建立更及时、更有效的安全生产优化提升策略的智慧油站开源了
大数据·人工智能·物联网·开源·音视频
IT规划师7 小时前
开源 - Ideal库 -获取特殊时间扩展方法(三)
开源·ideal库·特殊时间
OpenI启智社区7 小时前
湾区聚力 开源启智 | 2024 CCF中国开源大会暨第五届OpenI/O启智开发者大会闪耀深圳
人工智能·开源·openi启智社区·ccf中国开源大会·启智开发者大会
vvw&12 小时前
Seafile 私有云盘部署教程
linux·运维·服务器·开源·云盘·网盘·seafile
临水逸17 小时前
GitHub 上的开源项目推荐
开源·github