开源与闭源语言模型的较量：技术分析报告
摘要
近年来，大型语言模型(LLM)在自然语言处理领域取得了重大突破，引发了开源与闭源之争。本文从技术角度分析了这两种模式的优势与局限性，包括架构透明度、性能基准测试、计算需求、应用多样性、可访问性与许可、数据隐私与保密性以及商业支持等方面。通过深入探讨，本文旨在为读者提供关于开源与闭源LLM的技术权衡，以指导其AI战略。
开源与闭源LLM的定义
开源LLM公开了模型架构、源代码和权重参数，允许研究人员检查内部、评估质量、复现结果并构建定制变体。例如Anthropic的ConstitutionalAI、Meta的LLaMA和EleutherAI的GPT-NeoX。相反，闭源LLM将模型架构和权重视为专有资产，由商业实体如Anthropic、DeepMind和OpenAI内部开发。缺乏可访问的代码或设计细节，复现性和定制性受到限制。
架构透明度与定制性
开源LLM的内部访问开启了定制可能性，这在闭源替代方案中是不可能的。研究人员可以通过调整模型架构来探索技术，如引入层间的稀疏连接或添加专用的分类令牌，以提高在特定任务上的性能。同时，开发人员可以利用权重参数进行迁移学习或使用预训练的构建块如T5和BERT嵌入初始化变体。这种定制性使开源LLM更好地服务于专业领域，如生物医学研究、代码生成和教育。然而，所需的专业知识可能提高了交付生产质量实现的门槛。
闭源LLM的定制性有限，因为其技术细节保持专有。然而，其支持者承诺大量资源进行内部研发。结果系统在通用LLM架构上取得了突破。虽然灵活性较低，但闭源LLM在广泛适用的自然语言任务上表现出色。它们还通过符合OpenAPI等标准接口简化了集成。
性能基准测试
尽管开源LLM具有架构透明度，但测量其性能带来了挑战。它们的灵活性使得存在无数可能的配置和调整策略。这也使得一些标榜为"开源"的模型实际上包含了扭曲比较的专有技术。
闭源LLM具有更明确的性能目标，因为其支持者对特定指标阈值进行基准测试和宣传。例如，Anthropic公开了ConstitutionalAI在精选NLU问题集上的准确性。微软强调GPT-4在SuperGLUE语言理解工具包上超越了人类基线。然而，这些狭隘定义的基准测试受到批评，因为它们高估了在真实世界任务上的性能，并低估了失败。真正无偏的LLM评估仍然是一个开放的研究问题，对于开源和闭源方法都是如此。
计算需求
训练大型语言模型需要大量的计算资源。OpenAI花费数百万在云基础设施上训练GPT-3，而Anthropic为ConstitutionalAI消耗了超过1000万美元的GPU。这样的模型排除了大多数个人和小团队进入开源社区。事实上，EleutherAI不得不因爆炸性的托管成本而从公共访问中移除GPT-J模型。
没有深厚的财力，开源LLM的成功故事依赖于捐赠的计算资源。例如，LAION使用众包数据构建了其以技术为重点的LAION-5B模型。非营利组织Anthropic的ConstitutionalAI项目利用了志愿者计算。
大型科技公司的支持为闭源努力提供了财务燃料，这使它们能够将LLM开发工业化，达到草根倡议无法想象的规模。例如，DeepMind的2800亿参数Gopher模型。
应用多样性
开源LLM的定制性使其能够应对高度专业化的用例。研究人员可以积极修改模型内部，以提高在特定任务上的性能，如蛋白质结构预测、代码文档生成和数学证明验证。然而，访问和编辑代码的能力并不保证有效的领域特定解决方案，除非有正确数据。为狭窄应用创建和更新全面的训练数据集需要大量的努力。
在这里，闭源LLM受益于从内部存储库和商业伙伴获取训练数据的资源。例如，DeepMind从ChEMBL等数据库获取化学数据，从UniProt获取蛋白质数据，以扩大应用范围。工业规模的数据访问使像Gopher这样的模型尽管架构不透明，但仍然具有惊人的多样性。
可访问性与许可
开源LLM的宽松许可促进了自由访问和合作。例如GPT-NeoX、LLaMA和Jurassic-1 Jumbo等模型使用Creative Commons和Apache 2.0等协议，以促进非商业研究和公平的商业化。
相比之下，闭源LLM带有限制性许可，限制了模型的可用性。商业实体严格控制访问，以保护预测API和企业合作伙伴关系的潜在收入来源。
可以理解的是，像Anthropic和Cohere这样的组织会为ConstitutionalAI和Cohere-512接口收费。然而，这可能导致一些重要研究领域被排除在外，使发展偏向于资金雄厚的行业。
开源许可也带来挑战，特别是在归属和责任方面。然而，对于研究用例，开源的可访问性所赋予的自由提供了明显的优势。
数据隐私与保密性
LLM的训练数据集通常从各种在线来源聚合内容，如网页、科学文章和讨论论坛。这可能导致模型输出中出现可识别的个人或其他敏感信息。
对于开源LLM，审查数据集组成提供了防止保密问题的最佳保障。评估数据来源、过滤程序以及在测试过程中发现的关注示例的文档可以帮助识别漏洞。
不幸的是，闭源LLM排除了这种公开审计。相反，消费者必须依赖基于宣布政策的内部审查过程的严谨性。例如，Azure Cognitive Services承诺过滤个人数据，而Google指定正式的隐私审查和数据标签。
总的来说，开源LLM使人们能够更主动地识别AI系统中的保密风险，而不是在规模上出现这些缺陷。闭源对应方在数据处理实践方面的透明度相对有限。
商业支持与支持
闭源LLM的潜在盈利能力激励了重大的商业投资，用于开发和维护。例如，预计其Azure AI组合将带来丰厚的回报，微软同意与OpenAI围绕GPT模型达成数十亿美元的合作。
相比之下，开源LLM依赖于志愿者分配个人时间进行维护或提供有限期限的资助。这种资源不对称性危及开源项目的持续性和长期性。
然而，商业化的障碍也使开源社区能够专注于科学进步而非利润。开放的生态系统本质上也减少了过度依赖任何单一支持者的持续兴趣。
最终，每种方法在资源和激励方面都存在权衡。闭源LLM享有更大的资金安全性，但集中了影响力。开放的生态系统促进了多样性，但面临更高的不确定性。
导航开源与闭源LLM景观
决定使用开源或闭源LLM需要将组织优先事项（如定制性、可访问性和可扩展性）与模型功能相匹配。
对于研究人员和初创公司，开源提供了更多控制权，以调整模型以适应特定任务。许可还促进了合作者之间的自由分享见解。然而，获取训练数据和基础设施的负担可能削弱了现实世界的可行性。
相反，闭源LLM承诺由于充足的资金和数据而带来显著的质量改进。然而，关于访问和修改的限制限制了科学透明度，并将部署绑定到供应商路线图。
在实践中，关于架构规范、模型检查点和评估数据的开放标准可以帮助抵消两种方法的缺点。共享基础如Google的Transformer或牛津的REALTO基准测试提高了可复现性。互操作性标准如ONNX允许混合开源和闭源的组件。
最终，选择正确的工具------开源或闭源------取决于手头的任务。支持闭源LLM的商业实体具有不可否认的影响力。然而，开源科学社区的激情和原则将继续在推动AI进步中发挥关键作用。