#cnn

果冻人工智能

预测大师的秘籍：揭开时间序列的真相上一篇：《用人工智能模型预测股市和加密货币的K线图》序言：预测时间序列，乍听之下似乎离我们普通人很遥远，甚至有些晦涩难懂。其实该技术早已渗透进了我们的日常生活。天气预报每天提醒你是否带伞、股市的波动影响你的投资决策、电力公司的负荷管理让你享受稳定的电网服务……这些无不依赖时间序列分析的强大力量。本篇将带你从最简单的预测方法出发，逐步揭开时间序列的面纱，让你看到这门技术是如何在普通人和机器学习这门高深技术之间架起一座桥梁

果冻人工智能

人工智能规模法则的起源、分析、内幕以及对齐方法上一篇：《人工智能大语言模型起源篇，低秩微调（LoRA）》（14）Rae 和同事（包括78位合著者！）于2022年发表的《Scaling Language Models: Methods, Analysis & Insights from Training Gopher》，https://arxiv.org/abs/2112.11446

果冻人工智能

规模法则（Scaling Law）与参数效率的提高，上一篇：《人工智能大语言模型起源篇（三），模型规模与参数效率》规模法则与效率提高如果你想了解更多关于提高变换器效率的各种技术，我推荐阅读2020年的《Efficient Transformers: A Survey》https://arxiv.org/abs/2009.06732论文，接着是2023年的《A Survey on Efficient Training of Transformers》https://arxiv.org/abs/2302.01107论文。

果冻人工智能

人工智能大语言模型起源篇（二），从通用语言微调到驾驭LLM上一篇：《人工智能大语言模型起源篇（一），从哪里开始》（5）Howard 和 Ruder 于2018年发表的《Universal Language Model Fine-tuning for Text Classification》，https://arxiv.org/abs/1801.06146

果冻人工智能

人工智能大语言模型起源篇（一），从哪里开始序言：许多人最初接触人工智能都是在ChatGPT火热之际，并且大多停留在应用层面。对于希望了解其技术根源的人来说，往往难以找到方向。因此，我们编写了《人工智能大语言模型起源篇》，旨在帮助读者找到正确的学习路径，了解大型语言模型的大致起源。本文将分为三个部分，介绍当前主流的大型语言模型架构Transformer（变换器）模型的起源及其发展历程。Transformer并非横空出世，而是人工智能领域研究者们在长期探索和实验中逐步发展起来的。

果冻人工智能

用人工智能模型预测股市和加密货币的K线图前一篇：《从爱尔兰歌曲到莎士比亚：LSTM文本生成模型的优化之旅》前言：加密货币市场昨日大幅下跌，一天内市值蒸发逾70亿人民币。有人可能会问，如果使用人工智能模型预测市场的涨跌，是否能避免损失？作者在此指出，加密货币市场和股市具有高度的主观性，受人为因素、情绪波动和外界干预的显著影响，而非单纯依赖客观规律。因此，即便人工智能能够基于历史数据和市场规律做出客观预测，也无法避免因市场主观性而导致的不确定性或偏差。因此，在主观决策时不要让人工智能帮你来做。

果冻人工智能

搭建人工智能多模态大语言模型的通用方法上一篇：《理解多模态大语言模型，主流技术与最新模型简介》序言：动手搭建建多模态LLM的两大通用主流方法是：统一嵌入-解码器架构和跨模态注意力架构，它们都是通过利用图像嵌入与投影、跨注意力机制等技术来实现的。

果冻人工智能

再用RNN神经网络架构设计生成式语言模型上一篇：《用谷歌经典ML方法方法来设计生成式人工智能语言模型》序言：市场上所谓的开源大语言模型并不完全开源，通常只提供权重和少量工具，而架构、训练数据集、训练方法及代码等关键内容并未公开。因此，要真正掌握人工智能模型，仍需从基础出发。本篇文章将通过传统方法重新构建一个语言模型，以帮助大家理解语言模型的本质：它并不神秘，主要区别在于架构设计。目前主流架构是谷歌在论文《Attention Is All You Need》中提出的 Transformer，而本文选择采用传统的 RNN（LSTM）方法构建模型，其

果冻人工智能

用谷歌经典ML方法方法来设计生成式人工智能语言模型上一篇：《人工智能模型学习到的知识是怎样的一种存在？》序言：在接下来的几篇中，我们将学习如何利用 TensorFlow 来生成文本。需要注意的是，我们这里并不使用当前最热门的 Transformer 模型，而是探讨传统的机器学习方法。这么做的目的，是让你对当前主流的生成式人工智能模型有一个对比性的理解。通过了解这些传统模型和现代 Transformer 模型的差异，你会发现，现代生成式模型的成功，背后的技术，其实就是“规模法则”（Scaling Law）的推动。你可能会好奇，为什么以前的模型无法以同样的方

果冻人工智能

新型大语言模型的预训练与后训练范式，谷歌的Gemma 2语言模型前言：大型语言模型（LLMs）的发展历程可以说是非常长，从早期的GPT模型一路走到了今天这些复杂的、公开权重的大型语言模型。最初，LLM的训练过程只关注预训练，但后来逐步扩展到了包括预训练和后训练在内的完整流程。后训练通常涵盖监督指导微调和对齐过程，而这些在ChatGPT的推广下变得广为人知。

果冻人工智能

设计和训练人工智能模型的意义是什么？前一篇：《人工智能模型训练技术，正则化！》序言：人工智能模型的真正价值在于其实际应用，而不仅仅停留在理论阶段。本节将通过一个简单而常见的应用场景，展示如何将前面几节所设计和训练的模型应用于实际问题。我们将使用训练好的模型对句子进行分类，具体来说，识别社交平台上用户评论的类别。通过这样的技术，社交平台可以实时分析用户的情绪，迅速采取适当的响应措施，比如缓解冲突、提升用户体验，甚至优化平台的推荐算法。

果冻人工智能

人工智能同样也会读死书----“过拟合”上一篇：《“嵌入”在大语言模型中是解决把句子转换成向量表示的技术》序言：我们常常会说某某人只会“读死书”，题目稍微变一点就不会做了。这其实是我们人类学习中很常见的现象。可是你知道吗？人工智能其实更容易“读死书”。不过在人工智能领域，我们有个听起来高大上的说法，叫“过拟合”。说白了，“过拟合”就是人工智能的“读死书”现象。在这个小节我们就来聊聊怎么让人工智能少“读死书”。注意，我说的是“少”，因为这个问题没办法完全消除，只能尽量降低。

果冻人工智能

研发LLM模型，如何用数值表示人类自然语言？上一篇：《人工智能——自然语言处理简介》序言：人工智能大语言模型（LLM）如何理解人类的自然语言？这个过程的核心在于将文本转化为计算机能处理的数值形式，经过计算，最终达到对语言的理解。起初，我们只是简单的随便用一个数字来表示一个单词或一个词根，但随着研究深入，我们发现，不同的数值表达方式能显著提高模型对语言的理解效果。因此，在构建大语言模型（LLM）时，关键的一步是将人类语言转化成合适的数值表示，以便模型能够接收、处理并生成有效的输出。好了，让我们进入正题。

果冻人工智能

构建人工智能模型基础：TFDS和Keras的完美搭配上一篇：《数据工程师，转型人工智能岗位的理想时空通道》序言：本节将带您深入探索 TensorFlow 提供的关键工具和方法，涵盖数据集管理和神经网络模型的构建与训练。在现代人工智能框架中，TensorFlow 的数据集接口 (TensorFlow Datasets, 简称 TFDS) 与 Keras 模型库为深度学习任务提供了极大的便利。本章将具体展示如何使用 TFDS 和 Keras 配合构建神经网络架构，以实现高效的数据处理和模型训练。通过本节的实践操作，您将掌握从数据加载、预处理到模型搭建的核心流程

果冻人工智能

‘随机失活’：人工智能真的在模仿人脑吗？序言：过拟合是人工智能训练中的一个常见问题，类似于一位“读死书”的学生，他只能机械地背诵书本内容，缺乏灵活性，一旦题目稍有变化便无法理解。为了解决这一问题，科学家们从人脑的学习方式中获得启发，设计出“随机失活”方法。在学习过程中，随机关闭部分神经元，避免神经元之间过度依赖，从而提升模型的灵活性与应变能力。

果冻人工智能

搞人工智能开源大语言模型GPT2、Llama的正确姿势（如果想及时收到人工智能相关的知识更新，请点击关注！！）序言：目前我们每一小节的内容都讲解得非常慢，因为这是人工智能研发中的最基础知识。如果我们不能扎实掌握这些知识，将很难理解后续更复杂且实用的概念。因此，我们甚至采用一个概念一节的方式来编排内容，区分得清清楚楚、明明白白，以便大家能够非常明确地了解各知识点之间的关联关系和界限。本节将讲述一种在人工智能领域中被视为“泰斗绝学”的方法，帮助我们高效地完成模型训练——这项绝学就是“迁移学习”。

果冻人工智能

让卷积神经网络来辨识马和人上一篇：《设计卷积神经网络CNN为什么不是编程？》序言：我们已经踏入了设计人工智能（AI）模型的大门，有一个重要概念请大家务必记住：人工智能模型 = 架构 + 特征。任何一个AI模型都是先设计出架构，再通过数据训练获得特征。整合了特征的架构才算是一个完整的人工智能模型，如果没有特征的支撑，架构本身还不能称为人工智能模型。

果冻人工智能

搞清楚这个老六的真面目！逐层‘剥开’人工智能中的卷积神经网络（CNN）第三章：超越基础——图像中的特征检测上一篇《揭开计算机视觉的神秘面纱，原来机器是这样“看图”的！》本篇序言：上一篇我们实现并训练了一个神经网络，成功让计算机“看懂”了图像。可以说，我们已经一只脚跨进了AI研发的大门。不过，虽然我们迈入了AI这个神秘的领域，实际上，我们还只是站在门槛边缘。这里面有太多复杂的东西，连2024年AI领域的诺贝尔人工智能奖得主都无法完全搞明白，因为神经网络实在太复杂了，一个人的能力根本无法解析它所学到的知识。今天这一篇，大家只需要记住两个关键概念：“卷积”和“池化”。“卷积”是神