目标：走向AGI
我们不想写代码了，想让机器能自己（输入）听到、看到、摸到、闻到、理解并（输出）做到、说出来、画出来、表现出来，适应新东西完成复杂的任务不再需要人类干预，这就是AGI（Artificial General Intelligence，全面人工智能）。
这些输入（多模态）就是数据，计算机从数据中学习（提取特征），把这些特征都连起来形成网络（神经网络），当有任务时，就像在脑海中形成一条条路径，当遇到类似的情况时，这些路径会帮助我们快速做出反应。这些路径是通过不断的学习和调整权重（微调）形成的。
传统的编程方法 ：需要人明确地编写规则来告诉你怎样区分猫和狗（很难覆盖所有情况）。
机器学习（模拟人脑） ：给计算机提供大量关于猫和狗的图片，每张图片都标注了是猫还是狗（监督学习 ）。计算机通过分析这些数据，自己"学习"如何区分猫和狗。或者，给计算机大量没有标记的数据，让计算机自己找出数据中的模式或者结构（非监督学习 ）。通过数据来训练模型，使得计算机能够解决复杂的问题，而不是依赖人类预先设定的规则。
走近chatGPT，一步一步看已经实现的技术
神经网络（能学习，学到的是特征和微调参数权重）：能识别图像、理解语言或玩游戏等任务。
计算机从数据中提取特征，并通过调整内部连接来适应这些模式。这使得它非常适合处理复杂和多变的数据，正如我们日常生活中所遇到的那样。
神经网络，为什么能学习？这很重要。
通过训练能调整连接（权重）来适应输入数据。像我们学习骑自行车：最初，我们可能会摔倒，但通过不断尝试和调整平衡方式（权重），我们最终学会了骑车。
神经网络通过学习过程主要学习到的是特征（features）和参数权重（weights）的微调。
-
特征学习: 在神经网络中，特征学习是一个自动发生的过程。神经网络通过它的多层结构能够从原始数据中提取出有用的特征。例如，在图像识别任务中，网络的底层可能会学习到边缘或颜色等基本特征，而更高层次的网络可能会学习到更复杂的特征，如形状或特定物体的部分。这些特征通常不是人为设计的，而是网络通过训练数据自动学习得到的。
-
参数权重微调: 神经网络中的每个神经元都有相应的权重和偏置（bias），这些权重和偏置在训练过程中不断调整。权重决定了输入信号的重要性，而偏置则提供了一个额外的调整空间，帮助神经元更好地拟合训练数据。通过反向传播（backpropagation）算法和梯度下降（gradient descent）等优化技术，网络逐渐调整这些参数，以最小化预测和实际结果之间的差异。这个过程就是权重的微调。
简单类比一下：可以将神经网络的学习过程比喻为烹饪过程。原始数据就像是食材，神经网络则是厨师，通过不断尝试和调整（学习和权重调整），找到最佳的食谱（模型参数），使得最后的菜肴（预测结果）尽可能地美味（准确）。特征学习就像是识别哪些食材（数据特征）搭配在一起最好，而权重微调则是调整食材比例和烹饪方法，以达到最佳口味。
chatGPT研发过程主要步骤：
-
需求分析与规划：确定要开发的模型的目标和功能。这包括对目标用户、应用场景以及期望实现的功能进行深入的理解和分析。
-
数据收集：收集大量的文本数据，这些数据将用于训练语言模型。数据的来源可能非常广泛，包括书籍、网站、论坛帖子、新闻文章等。
-
数据预处理：清洗和处理收集到的数据。这个步骤非常重要，因为它涉及到去除无关或低质量的内容、标准化文本格式、处理特殊字符等。
-
模型设计：选择或设计适合的神经网络架构。这可能包括决定使用特定类型的网络（如Transformer），以及配置网络的大小、层数、参数等。
-
预训练：使用收集到的数据进行模型的预训练。这个阶段通常涉及到大量的计算资源，模型会在大量文本上学习语言的基本规律和模式。
-
微调与优化：对模型进行微调，以适应特定的任务或应用场景。这可能包括在特定类型的数据上进一步训练模型，或调整模型的参数以优化性能。
-
测试与评估：对模型进行测试，以评估其性能。这包括检查模型对不同类型输入的反应，以及评估模型在特定任务上的准确性、一致性和响应时间。
-
集成与部署：将训练好的模型集成到应用程序或服务中，并进行部署。这可能涉及到与现有系统的集成、提供API接口等。
-
监控与维护：在模型部署后进行持续的监控和维护。这包括跟踪模型的性能，以及根据用户反馈和使用情况进行必要的更新和优化。
-
持续迭代：根据新的数据、技术进步以及用户需求的变化，不断迭代和更新模型。
总之，研发ChatGPT类型的模型是一个复杂的过程，涉及到从需求分析到模型部署的多个步骤。每个步骤都至关重要，共同确保了最终模型的效能和可用性。
chatGPT收到一个问题后的处理步骤：
-
输入解析：首先，ChatGPT接收并解析用户的输入。这个阶段包括理解输入的文字，包括语言、句子结构和含义。如果输入是一个特定的命令或请求（比如要求查找信息、生成图像等），ChatGPT还会识别出这些特定的需求。
-
上下文理解：ChatGPT会考虑到与当前对话相关的上下文信息。这包括前面的对话内容、用户的个人资料（如果提供），以及任何特定于会话的设置或指示。这个阶段是为了确保回应是连贯并且符合对话的历史背景。
-
信息处理和决策：在这个阶段，ChatGPT会根据输入和上下文来决定最佳的回应策略。这可能包括从内部知识库中提取信息、执行某些特定的任务（比如运行一个Python脚本或生成一张图片），或者结合多种信息源来形成回答。
-
生成回应：在确定了回应策略之后，ChatGPT会生成一个回答。这个过程涉及到自然语言生成（NLG），即使用机器学习模型来构造语句。在这个阶段，模型会考虑如何以清晰、准确并且自然的方式表达所需的信息或执行的任务。
-
输出格式化与交付：生成的回答会被格式化成适合用户阅读的形式，并发送给用户。这一步骤确保信息的呈现方式既符合用户的期望，也适合当前的交互平台（如文本聊天、语音输出等）。
总的来说，ChatGPT在收到问题后会经历接收解析、上下文理解、信息处理与决策、生成回应以及输出格式化等步骤，以确保提供恰当、相关且连贯的回答。
只从技术角度看，其他全忽略，下篇继续
BLAS（Basic Linear Algebra Subprograms，基础线性代数子程序）是一套标准的低级程序，用于执行常见的线性代数运算，例如向量加法、向量与矩阵乘法、矩阵乘法等。BLAS主要用于提高这些运算的效率，特别是在大规模计算中。
在人工智能和机器学习领域，BLAS非常重要，因为这些领域经常需要处理大量的线性代数运算。例如，在训练神经网络时，会涉及到大量的矩阵运算，BLAS可以帮助加速这些运算过程。
可以这样理解BLAS的作用：假设你有一大堆乐高积木，需要按照特定的方式组装成不同的结构。如果你每次都从头开始寻找合适的积木和组装方法，这将非常耗时。而BLAS就像是一套预先定义好的、高效的组装指南，可以快速找到需要的积木（线性代数运算的元素）并以最有效的方式组装它们（执行线性代数运算）。这样就大大提高了构建复杂结构（完成复杂计算任务）的效率。
总之，BLAS是优化和执行线性代数运算的重要工具，它在人工智能和机器学习中发挥着关键作用。
机器学习是指计算机程序可以从数据中学习，而神经网络是一种机器学习算法。可以用一个简单的类比来理解：假设机器学习是一家餐厅，那么神经网络就像是餐厅里的一道特色菜。
-
机器学习（餐厅）：机器学习是人工智能领域的一个重要分支，它涉及算法和统计模型的使用，使计算机系统能够基于数据进行学习和做出决策。就像一家餐厅提供各种不同的菜肴，机器学习提供了各种不同的算法和技术，用来解决不同类型的问题。
-
神经网络（特色菜）：神经网络是机器学习中的一种算法，灵感来源于人脑的神经元网络结构。它们非常适合于处理大量的数据，并且在诸如图像识别、语音识别、自然语言处理等领域表现出色。神经网络就像餐厅里的一道特色菜，虽然不是唯一的选择，但因其独特的味道和处理复杂问题的能力而广受欢迎。
简而言之，神经网络是机器学习领域下的一种重要方法，但并不是机器学习的全部。还有其他许多算法和技术，如决策树、支持向量机等，也属于机器学习的范畴。
人工智能（AI）领域除了机器学习，还包含了许多其他重要的分支。
可以将这些分支比作一座科技森林中的不同类型的树木，每种树木都有其独特的特点和用途。主要分支包括：
-
知识表达和推理：这是AI的传统核心领域之一，涉及理解和表示外部世界的知识，以及如何利用这些知识来进行有效的推理。想象一棵树，其树干代表知识库，树枝代表推理机制，能够从已知信息中推导出新的结论。
-
自然语言处理（NLP）：NLP关注于如何让计算机理解、解释和生成人类语言。这像是一种能够理解和模仿人类交流方式的树，它的叶子能够捕捉和反映人类语言的复杂性和微妙性。
-
计算机视觉：这个领域致力于让机器"看"懂视觉世界，识别和处理图像和视频数据。它就像一棵具有视觉感知能力的树，可以识别和解析其视野中的一切。
-
机器人技术：机器人技术集成了感知、决策和动作执行等多个AI领域，以创建能够自主或半自主工作的机器。这类似于一棵能够移动和与环境互动的树。
-
专家系统：专家系统模仿人类专家的决策能力，为特定领域的问题提供解决方案。这就像一棵树，其树干和枝叶紧密编织，形成一个包含丰富专业知识的网络。
-
感知系统：涉及声音、触觉等感知模式的AI应用，可以类比为一种对环境变化非常敏感的树，能够从多种感官输入中捕捉信息。
-
演化计算：使用自然选择的原理（如遗传算法）来解决优化问题。这就像一棵不断适应环境并演化的树。
每个分支都有其独特的研究领域和应用场景，共同构成了丰富多彩的人工智能领域。