llm

Google 提供的 Android 端上大模型组件：MediaPipe LLM 介绍大家好，最近被 Gemini 2.0 “狙击 OpenAI“ 的消息刷屏，让我对 Google 的大模型技术有了新的认识，同时也好奇，作为 Google 的亲儿子，Android 上有没有什么比较好用的端上大模型库呢？经过一番学习，最后发现了适用范围最广的 MediaPipe LLM！

计算机的错误计算（一百八十七）摘要用大模型计算 sin(123.456789). 其自变量为弧度。结果保留16位有效数字。第一个大模型是数学大模型。先是只分析，不计算；后经提醒，才给出结果，但是是错误结果。第二个大模型，直接给出了Python代码与结果，其中结果中最后一位数字错误。第三个大模型，也是给出Python代码，代码正确，但是结果错误。

带电的小王

whisper.cpp: Android端测试 -- Android端手机部署音频大模型以下是经实验验证可行的环境参考，也可尝试其他版本。（1）PC：Ubuntu 22.04.4（2）硬件设备：Android 手机

带电的小王

whisper.cpp: PC端测试 -- 电脑端部署音频大模型以下是经实验验证可行的环境参考，也可尝试其他版本。（1）PC：Ubuntu 22.04.4（2）软件环境：如下表所示

LLaMA-Factory QuickStart 流程详解LLaMA-Factory 是一个整合主流高效训练与微调技术的框架，支持主流开源大模型（如 LLaMA、Qwen、Baichuan 等），提供便捷的接口和工作台，降低大模型微调门槛。

在CFFF云平台使用llama-factory部署及微调Qwen2.5-7B-Instruct24GB的显存基本可以满足7B模型的部署和微调，不过由于CFFF平台都是A100显卡，因此选择一张GPU创建云服务器实例（AI4S_share_queue, A100 * 1, 80G）

计算机的错误计算（一百八十六）摘要就上节（即（一百八十五））内容，有读者来信，建议用另外一个大模型计算。本节详细讲解该大模型的对错，特别是涉及 Python Decimal的内容以及泰勒展式内容。

带电的小王

llama.cpp：PC端测试 MobileVLM -- 电脑端部署图生文大模型以下是经实验验证可行的环境参考，也可尝试其他版本。（1）PC：Ubuntu 22.04.4（2）软件环境：如下表所示

火山引擎边缘云

2024冬季FORCE大会，火山引擎边缘云全面展示边缘云 + AI 产品技术方案12月18-19日，2024 火山引擎冬季 FORCE 原动力大会在上海成功举办。作为云计算和数字化领域的盛会，此次大会带来了一系列全新产品及升级，帮助企业解决落地大模型所面临的实际问题。

机械鹦鹉与真正的智能：大语言模型推理能力的迷思编者按：大语言模型真的具备推理能力吗？我们是否误解了"智能"的本质，将模式匹配误认为是真正的推理？本文深入探讨了大语言模型（LLMs）是否真正具备推理能力这一前沿科学问题，作者的核心观点是：LLMs 本质上是高级的模式识别机器，而非真正具备逻辑推理能力。

基于大语言模型的多代理下一代制造系统能灵活动态管理制造资源的高效调度方法论文地址：https://arxiv.org/pdf/2405.16887 随着生产率的提高，客户对多品种、小批量生产的需求也在不断增加，这反过来又对制造系统提出了更高的要求。由于这种需求，当生产任务频繁变化时，传统的制造系统往往无法做出快速反应。为解决这一问题，作者提出了一种多代理制造系统。然而，由于技术上的限制，这种系统中的代理之间的协商是根据预先确定的启发式规则实现的，不够智能，无法应对多品种小批量生产。

机械鹦鹉与真正的智能：大语言模型推理能力的迷思编者按：大语言模型真的具备推理能力吗？我们是否误解了"智能"的本质，将模式匹配误认为是真正的推理？本文深入探讨了大语言模型（LLMs）是否真正具备推理能力这一前沿科学问题，作者的核心观点是：LLMs 本质上是高级的模式识别机器，而非真正具备逻辑推理能力。

测试者家园

ChatGPT生成测试用例的最佳实践（三）还记得在第1章，我们利用ChatGPT生成的业务用例吗？这种业务用例生成方式其实和场景法用例设计十分相似，我们是不是也可以直接将业务用例输入ChatGPT，让它输出测试用例呢？笔者输入相关提示词让其补充以需求规格说明书中的业务用例为依据的测试用例，ChatGPT输出如图3-5所示。

大语言模型人工智能（Artificial Intelligence，AI）是计算机科学的一个分支，致力于创建能够执行通常需要人类智能的任务的机器或软件。AI 包括许多子领域，目标是使机器能够模仿或执行诸如学习、推理、规划、自然语言理解、感知和决策等任务。

LLM模型的generate和chat函数区别在 Hugging Face 的 transformers 库中，GPT（Generative Pre-trained Transformer）类的模型有两个常用的生成文本的方法：generate 和 chat。这两个方法在使用上有一些区别。通常公司发布的 LLM 模型会有一个基础版本，还会有一个 Chat 版本。比如，Qwen-7B（基础版本）和 Qwen-7B-Chat（Chat 版本）。

裸辞一年狂肝了一个AI搜索！我要硬刚Google和Perplexity！Hika AI 是一款 AI 加持的「知识搜索工具」，它主要的目的是帮助你在搜索问题时通过Hika的「不同视角的思路」，为你快速延伸问题相关的知识领域，或者深挖问题中某个关键点，获得更加全面的结果.

测试者家园

ChatGPT生成测试用例的最佳实践（二）这种测试用例还不够直观，能不能让其以表格的形式显示呢？笔者输入“请以表格形式展示，谢谢。”提示词，ChatGPT输出的部分内容如图3-3所示。

教 ChatGPT 学会使用工具 —— LangChain Agent 调研导语 “人类区别于动物的根本标志在于制造和使用工具并进行劳动。 ” Agent 赋予了大语言模型使用工具的能力。

[COLM 2024] V-STaR: Training Verifiers for Self-Taught Reasoners读完STaR后，最直观的想法，1）数据利用率不够，合理化依然没有利用好剩下的数据，而剩下的数据对提高模型性能可能很重要（硬骨头），此外，模型没有一次性答对的样本也没有用上（即剩下的样本），这些一次没答对的数据中，可能部分步骤是有益的，能否利用上？或者错误的步骤能否也利用上？ 2）由于LLM有随机性，应该让它多次输出，然后选最好的答案。如何选最好，比起用分类任务来做，不如用排序任务来做。因此可能需要QA模型多次输出，然后让一个模型来对答案排序。

終不似少年遊*

02LLM的整体认知AGI为Artificial General Intelligence，意为人工通用智能传统深度学习，每个任务都需要准备大量的数据，从零打造不同任务的流程，甚至专门的团队做对应的任务，这个本身成本很高；比如做情感分析任务，首先建立个团队，收集相关的Data数据，几十万条，会有一些相应的流程，数据清洗，数据处理，超参数的调整等等，智能问答也是要收集大量的数据，每个任务都是互相独立的，其实需要大量的数据本身就是个比较高的门槛了。