👉👉原文链接👈👈
「 最新活动 」
◇ 杭州 AI 峰会：AI 最后一公里，变现探索 🔗 Link
AI 浪潮，一起搞钱！早鸟有限，详情链接：xhkzr.xet.tech/s/2LquL0
「 行业动态 」
◇ 百川 VS 智谱，谁能成为中国的 OpenAI ？ 🔗 News
智谱 AI 和百川智能两家主要人工智能模型公司最近获得了大量资金。智谱 AI 获得了超过 25 亿元人民币的融资，估值超过 100 亿元人民币，投资者包括阿里巴巴、腾讯、美团等，专注于大型模型的开发，并发布了下载量达数百万的开源模型。由前搜狗 CEO 王小川创立的百川智能获得了 3 亿美元的战略融资，并迅速成为人工智能行业的独角兽，专注于大型模型的研发。2023 年以来，AI 可以说是绝对的顶流。根据 Accel 的最新报告，生成式 AI 公司成为独角兽的主要力量，推动了科技巨头的市值增长。预测到 2024 年，生成式 AI 将成为常见工具，提供更多创造力和灵感，并需要大规模培训和重塑。ChatGPT 点燃的 AI 之火正在燎原。
◇ 全球最大的开源 AI 模型库 HuggingFace 被墙！ 🔗 Twitter
Hugging Face，一家拥有超过 365,000 个开源 AI 模型的初创公司，通知 Semafor 他们在中国面临访问受限的问题。虽然公司表示无法影响政府监管，但尚不清楚何时首次受到中国审查。早在 5 月，中国用户就开始在公司的论坛上抱怨连接问题，至少从 9 月 12 日起，Hugging Face 在中国完全无法访问。这可能与 8 月份生效的当地法规有关，要求企业注册其人工智能服务并确保遵守内容限制。禁止访问 Hugging Face 托管的开源存储库可能会干扰许多开发人员的工作，引发了中国用户对潜在影响的担忧。
◇ 开源世界首个轻量图自动机器学习库 🔗 News
AutoGL 项目由清华大学朱文武教授的团队于 2020 年发起，专注于解释性和泛化性的图机器学习，旨在自动设计最佳的图机器学习模型。图机器学习因其在社交网络分析、推荐系统和药物发现等领域的应用而备受关注。然而，手动设计的图机器学习模型面临结构、属性和任务差异导致泛化能力不足的挑战。AutoGL 是全球首个自动图机器学习平台和工具包，涵盖整个图机器学习流程，支持各种图任务，包括处理数据分布变化、大规模图数据、自动图 Transformer 设计等多个创新领域。此外，AutoGL-Light 是 AutoGL 的轻量级开源库，提供模块化解耦、超参数优化和架构搜索的定制选项，适用于多领域应用。AutoGL-Light 已在 GitLink 平台上发布，并在 GitLink 编程夏令营吸引了众多中国大学生，开展了图分布、大规模、自动图 Transformer 搜索以及生物信息学和分子结构预测等项目。
- AutoGL 地址：github.com/THUMNLab/Au...
- AutoGL-Light 地址：gitlink.org.cn/THUMNLab/Au...
◇ 95 后学生团队创建国产 AI 开源社区 🔗 News
在过去的十年中，人工智能技术在自然语言处理、图像识别和其他创新领域取得了显著进展。AI 研究领域的挑战包括「论文复现」和「跨学科协作」合作的困难。在这个背景下，一支年轻的西安电子科技大学研究生和本科生团队创建了名为「SwanHub」的全新 AI 开源社区平台，旨在解决与 AI 模型复现、部署和管理相关的问题。SwanHub 提供了 AI 模型托管、版本管理和易于使用的可视化等功能。该平台提供了简单的模型演示部署工作流程，促进 AI 模型的实时在线测试和分享结果，旨在促进 AI 领域的协作和高效知识共享。
- 体验地址：swanhub.co/
◇ ChatGPT 与 DALL·E 3 之间的行业「黑话」 🔗 News
OpenAI 最近发布了 DALL·E 3，这是一个集成了大型语言模型 ChatGPT 的新图像生成器。一些用户在 DALL·E 3 提示中发现了有趣的"错误"消息，包括使用大写字母表示强调的指令。ChatGPT 和 DALL·E 3 之间的互动展示了使用自然语言进行模型间通信的方式，与以前的基于 API 的结构化数据格式交互不同。一些人正在讨论在与 LLM 互动时是否有必要礼貌，有建议认为礼貌可能会产生更具建设性和有用的结果。在提示中使用全大写字母以模拟呼喊或强调的行为，可以解释为大型语言模型的训练数据中包含这种文本。对此引发了一个问题，即在人机交流中是否会更普遍地采用呼喊或强调文本以获得更好的结果。
◇ LLM 新缺陷曝光，自我纠正成功率仅 1% 🔗 News
最新研究表明，大型语言模型如 GPT-4，在推理任务中自我纠正方面存在困难，无法通过自我纠正显著提高性能。亚利桑那州立大学的研究人员发表两篇论文，质疑 LLM 自我纠正的有效性，结果显示 LLM 通常需要已知正确答案才能自我纠正，外部验证和反馈比自我纠正更有效。相比自我纠正，来自人类或其他可靠来源的外部验证和反馈更有效地提高了 LLM 的输出准确性。研究以"着色问题"作为示例，发现 GPT-4 的自我纠正实际上导致准确性显著下降，挑战了自我纠正能够提高性能的观点。研究还强调 LLM 难以独立验证正确答案，需要依赖外部验证者提供"正确答案"以进行有效自我纠正。总之，这些研究强调了像 GPT-4 这样的大型语言模型在需要推理和自我纠正的任务中的局限性，并引发了关于它们在计划任务的迭代自我评估框架中的角色的疑虑。
◇ 新数学大模型性能逼近谷歌 Minerva，参数少一半 🔗 News
普林斯顿大学、 EleutherAI 等的研究者为了解决数学问题，特别训练了一款名为 LLEMMA 的领域专用语言模型。这个开源模型分为 7B 和 34B 两个版本，性能在数学任务上优于 Code Llama 和 Minerva 模型。不仅如此，LLEMMA 还可以使用 Python 解释器和形式定理证明器等计算工具来解决数学问题，同时对外开放了训练数据和代码，为未来的数学推理研究提供了平台。此外，LLEMMA 在形式数学任务方面表现出色，而数据混合训练方法对其性能产生显著影响。研究人员认为这种领域专用的语言模型具有广泛的研究潜力，可以用于奖励建模、推理强化学习和算法推理等领域。
- paper: arxiv.org/pdf/2310.10...
- 项目地址：github.com/EleutherAI/...
◇ 从 1.6 万到 100 万 tokens，只需调整 1 个超参数 🔗 News
一项来自复旦大学和上海人工智能实验室的研究揭示了如何通过微调大型语言模型，将其上下文窗口长度从 1.6 万标记延长到 100 万标记，为大模型的进一步优化提供了新途径。研究引入了"外推性能"概念，即在输入长度超过预训练文本长度时它们的表现。研究关注了通过改进 Transformer 架构中的"位置编码"模块，特别是 RoPE（相对位置编码）方法，以增强大型模型的外推性能。还提出了"临界维度"的概念，考虑了预训练文本长度和自注意头维度等因素，从而改进了 RoPE-based 模型。通过应用这一缩放法则，研究表明大型模型可以有效支持 10 万、50 万或甚至 100 万个标记的输入，而无需额外的注意力限制。
- paper: arxiv.org/abs/2310.05...
- Github: github.com/OpenLMLab/s...
◇ vivo 提前"泄密"大模型能力 🔗 News
中国领先的智能手机制造商 Vivo 计划在其新的智能手机系统 OriginOS 4 中推出自家的大型语言模型 VivoLM，该模型分为五个版本，拥有不同参数大小，从 10 亿（1B）到 1750 亿（175B）不等。由于智能手机的计算能力、电池寿命和隐私问题，将大型模型部署在智能手机上具有挑战性。为了克服这些挑战，Vivo 采用了参数设计以处理不同任务，并采用云-边缘协作方法来平衡速度和效率。VivoLM 的应用预计将提升用户体验，包括电子邮件生成、智能日程安排和意图识别。这一举措预计将为用户带来全新的便利体验，推动人机交互领域的技术创新。Vivo 加入大型模型趋势被视为该行业的重要发展，有望推动增长并对其他智能手机制造商产生影响。
◇ 用 GPT-4 训练机器人，英伟达最新 Agent 开源 🔗 Twitter
Eureka 是一个利用 GPT-4 等大型语言模型为机械手提供复杂动作指导，通过生成奖励函数告诉机器人哪些动作是好与不好，然后由可学习的神经网络控制机器人的实际动作。Eureka 还能接受人类自然语言反馈，将其融入奖励函数，以改进机器人表现。这一项目采用混合梯度架构，外部循环使用 GPT-4 优化奖励函数，内部循环通过强化学习训练机器人，外部循环告诉机器人如何做，内部循环让机器人实际执行动作。Eureka 支持使用人类反馈进行强化学习，提高奖励质量和安全性，在实验中，它成功加速了模拟速度，超越了人类专家，并改进了奖励函数。
项目地址：eureka-research.github.io paper：arxiv.org/abs/2310.12... Github：github.com/eureka-rese...
◇ 高管引领，苹果加速 AI 技术 🔗 News
苹果对 OpenAI 的 ChatGPT 等 AI 工具的快速发展表示惊讶，正在加快开发有竞争力的功能，强调了 iOS 17 中自动更正语言模型和计算机视觉系统"Apple Vision Pro"的改进。尽管有人认为苹果忽视了人工智能，但公司高层管理人员，领导了人工智能领域，拥有 10 亿美元的年度预算。他们专注于改进 Siri、集成 AI 到 iOS 和大型语言模型中，以及在各种应用程序和服务中集成人工智能。苹果还计划将生成式人工智能集成到开发工具中，采用组合方法，内部使用名为"Apple GPT"的强大语言模型，并投资数百万美元进行人工智能培训。未来，苹果计划引入新的语音功能，如使用语音命令发送 GIF
◇ 人工智能本质上是一种"监控技术" 🔗 Twitter
许多投资巨资在用户数据变现上的公司对人工智能技术表现出浓厚兴趣，Signal 总裁 Meredith Whittaker 认为这兴趣的根源在于人工智能被视为一种监视技术。Whittaker 指出人工智能、大数据和定向广告与谷歌、Meta 等巨头以及有影响力的企业和国防公司之间存在紧密联系，人工智能放大了监控商业模式，这一模式自 20 世纪 90 年代末的监控广告以来就一直存在。她认为人工智能有助于巩固和扩展这种监视模型，尤其是在面部识别等领域，这些系统最终充当监视工具，销售给雇主、政府和边境控制实体。Whittaker 强调人工智能的开发离不开人类劳动，尽管整个过程成本高昂，但个别工人的工资往往微薄，她强调人工智能有其有价值的应用，但不能消除其潜在的负面影响。
「 融资快讯 」
◇ 「微见智能」完成近亿元 A+轮融资 🔗 News
中国的芯片封装测试设备公司微见智能最近完成了一轮近亿元的 A+融资，由海通开元领投。这笔资金将用于产品研发、技术升级和市场拓展。微见智能专注于高精度复杂工艺芯片封装设备，已经掌握了核心技术，包括高精度封装工艺、机器视觉和算法。他们生产通用高精度固精机和其他系列产品，支持多领域核心芯片封装，成功进军国际市场。这一行业每年增长 10%，市场规模预计在 2022 年将达到 3000 亿元。微见智能的高精度固晶设备在多领域有广泛应用，因此吸引了投资机构的关注，而高速率光模块市场的增长趋势也提供了机会。
「 技术阅读 」
◇ 高级 RAG 架构需要实现动态检索 🔗 Twitter
高级 RAG 架构的关键是实现动态检索。与静态的顶级 RAG 不同，它采用了两个概念性阶段：
预检索阶段：在此阶段，确定了适合特定用例的检索器，考虑了主观推理概念（如路由、ReAct）、信息检索（查询重写）和依赖于现有生成的概念。这有助于根据用例需求提高召回率。
后检索阶段：这个阶段包括重新排名和筛选结果，以动态调整检索上下文。这样，可以设置较大的前 k 值，同时提高精度。
- 预检索（路由）：docs.llamaindex.ai/en/stable/c...
- 预检索（多文档代理）：docs.llamaindex.ai/en/stable/e...
- 后检索（重新排名）：docs.llamaindex.ai/en/stable/c...
◇ 顶级 ML 论文（10.16-10.22） 🔗 Link