Large Language Models Paper 分享

论文1: ChatGPT's One-year Anniversary: Are Open-Source Large Language Models Catching up?

简介

2022年11月,OpenAI发布了ChatGPT,这一事件在AI社区甚至全世界引起了轰动。首次,一个基于应用的AI聊天机器人能够提供有帮助、安全和有用的答案,遵循人类指令,甚至承认并纠正之前的错误。作为第一个这样的应用,ChatGPT在其推出仅两个月内,用户数量就达到了1亿,远远快于其他流行应用如TikTok或YouTube。因此,它也吸引了巨额的商业投资,因为它有望降低劳动成本,自动化工作流程,甚至为客户带来新的体验。

但ChatGPT的闭源特性可能引发诸多问题。首先,由于不了解内部细节,比如预训练和微调过程,很难正确评估其潜在风险,尤其是考虑到大模型可能生成有害、不道德和虚假的内容。其次,有报道称ChatGPT的性能随时间变化,妨碍了可重复的结果。第三,ChatGPT经历了多次故障,仅在2023年11月就发生了两次重大故障,期间无法访问ChatGPT网站及其API。最后,采用ChatGPT的企业可能会关注API调用的高成本、服务中断、数据所有权和隐私问题,以及其他不可预测的事件,比如最近有关CEO Sam Altman被解雇并最终回归的董事会闹剧。

此时,开源大模型应运而生,社区一直在积极推动将高性能的大模型保持开源。然而,截至2023年末,大家还普遍认为类似Llama-2或Falcon这样的开源大模型在性能上落后于它们的闭源模型,如OpenAI的GPT3.5(ChatGPT)和GPT-4,Anthropic的Claude2或Google的Bard3,其中GPT-4通常被认为是最出色的。然而,令人鼓舞的是差距正在变得越来越小,开源大模型正在迅速赶上。

地址:[2311.16989] ChatGPT's One-year Anniversary: Are Open-Source Large Language Models Catching up? (arxiv.org)

相关推荐
袁总6662 分钟前
智能座舱问答
人工智能
Sirius Wu43 分钟前
SFT/DPO/PPO/GRPO训练全解析
人工智能·深度学习·语言模型
Learn Beyond Limits1 小时前
Clustering|聚类
人工智能·深度学习·神经网络·机器学习·ai·聚类·吴恩达
KKKlucifer1 小时前
IDC发布AI+政务、财政、应急三大市场空间与厂商份额报告
人工智能·百度·政务
丁希希哇1 小时前
【论文精读】CogVideoX: Text-to-Video Diffusion Models with An Expert Transformer
人工智能·深度学习·transformer
网易伏羲1 小时前
网易伏羲受邀亮相2025云栖大会,展示AI领域前沿创新成果
人工智能
都是些老物件1 小时前
TensorFlow中的掩码传递
人工智能·python·tensorflow
小苑同学2 小时前
安全对齐到底是什么
人工智能·安全
飞哥数智坊2 小时前
免费用上 GLM-4.6!我在 Cursor 里接入了模力方舟 API
人工智能·ai编程
zzywxc7872 小时前
大模型落地实践指南:从技术路径到企业级解决方案
java·人工智能·python·microsoft·golang·prompt