#ai

果冻人工智能

设计和训练人工智能模型的意义是什么？前一篇：《人工智能模型训练技术，正则化！》序言：人工智能模型的真正价值在于其实际应用，而不仅仅停留在理论阶段。本节将通过一个简单而常见的应用场景，展示如何将前面几节所设计和训练的模型应用于实际问题。我们将使用训练好的模型对句子进行分类，具体来说，识别社交平台上用户评论的类别。通过这样的技术，社交平台可以实时分析用户的情绪，迅速采取适当的响应措施，比如缓解冲突、提升用户体验，甚至优化平台的推荐算法。

果冻人工智能

人工智能模型训练技术：随机失活，丢弃法，Dropout前一篇：《探索训练人工智能模型的词汇大小与模型的维度》序言：Dropout 是神经网络设计领域的一种技术，通常我们把它翻译成随机失活或者丢弃法。如果训练神经网络的时候不用 Dropout，模型就很容易“读死书”，也就是过拟合，结果可能导致项目失败。

果冻人工智能

人工智能同样也会读死书----“过拟合”上一篇：《“嵌入”在大语言模型中是解决把句子转换成向量表示的技术》序言：我们常常会说某某人只会“读死书”，题目稍微变一点就不会做了。这其实是我们人类学习中很常见的现象。可是你知道吗？人工智能其实更容易“读死书”。不过在人工智能领域，我们有个听起来高大上的说法，叫“过拟合”。说白了，“过拟合”就是人工智能的“读死书”现象。在这个小节我们就来聊聊怎么让人工智能少“读死书”。注意，我说的是“少”，因为这个问题没办法完全消除，只能尽量降低。

果冻人工智能

“嵌入”在大语言模型中是解决把句子转换成向量表示的技术上一篇：《人工智能是这样理解“情绪”的》序言：这段话要优化吗？““嵌入”是一种将句子、单词或其他语言单位转换为向量表示的技术。这个向量通常位于高维空间中，它以一种能够表达相似性的方式编码出文本的含义或上下文。嵌入层的作用就在于把离散的语言符号（如单词或句子）转换成连续的向量，使得模型能更好地理解和处理语言之间的关系。其实我们人类的大脑也是这样干的，只是我们自己无法感知而已，我们最终得到的就是某个“记忆”，可以供人类随时使用的“记忆”也就是特征，所以让人工智能来识别人类说话中包含的情绪也只是将整句话转换成了

果冻人工智能

研发LLM模型，如何用数值表示人类自然语言？上一篇：《人工智能——自然语言处理简介》序言：人工智能大语言模型（LLM）如何理解人类的自然语言？这个过程的核心在于将文本转化为计算机能处理的数值形式，经过计算，最终达到对语言的理解。起初，我们只是简单的随便用一个数字来表示一个单词或一个词根，但随着研究深入，我们发现，不同的数值表达方式能显著提高模型对语言的理解效果。因此，在构建大语言模型（LLM）时，关键的一步是将人类语言转化成合适的数值表示，以便模型能够接收、处理并生成有效的输出。好了，让我们进入正题。

果冻人工智能

人工智能--自然语言处理简介上一篇：《人工智能模型训练中的数据之美——探索TFRecord》序言：自然语言处理（NLP）是人工智能中的一种技术，专注于理解基于人类语言的内容。它包含了编程技术，用于创建可以理解语言、分类内容，甚至生成和创作人类语言的新作品的模型。在接下来的几章中，我们将会探讨这些技术。此外，现在有许多利用 NLP 的服务来创建应用程序，比如聊天机器人（它们属于应用，属于Agent应用开发），但这些内容不在知识的范围之内——我们将专注于 NLP 的基础知识（实现原理），以及如何进行语言建模，使您可以训练神经网络,教导电

果冻人工智能

人工智能模型训练中的数据之美——探索TFRecord上一篇：《构建人工智能模型基础：TFDS和Keras的完美搭配》序言：在人工智能模型的训练过程中，如何高效管理和处理大量数据是一个重要的课题。TensorFlow 的 TFRecord 格式为大规模数据存储和处理提供了一种灵活且高效的解决方案。在本节知识中，我们将介绍如何利用 TFRecord 结合 TensorFlow 的 Dataset API 进行数据的提取、转换和加载（ETL），从而更好地支持人工智能模型的训练和优化。通过 TFRecord，您可以将原始数据存储为一种轻量且易于处理的二进制格式，从

果冻人工智能

构建人工智能模型基础：TFDS和Keras的完美搭配上一篇：《数据工程师，转型人工智能岗位的理想时空通道》序言：本节将带您深入探索 TensorFlow 提供的关键工具和方法，涵盖数据集管理和神经网络模型的构建与训练。在现代人工智能框架中，TensorFlow 的数据集接口 (TensorFlow Datasets, 简称 TFDS) 与 Keras 模型库为深度学习任务提供了极大的便利。本章将具体展示如何使用 TFDS 和 Keras 配合构建神经网络架构，以实现高效的数据处理和模型训练。通过本节的实践操作，您将掌握从数据加载、预处理到模型搭建的核心流程

果冻人工智能

‘随机失活’：人工智能真的在模仿人脑吗？序言：过拟合是人工智能训练中的一个常见问题，类似于一位“读死书”的学生，他只能机械地背诵书本内容，缺乏灵活性，一旦题目稍有变化便无法理解。为了解决这一问题，科学家们从人脑的学习方式中获得启发，设计出“随机失活”方法。在学习过程中，随机关闭部分神经元，避免神经元之间过度依赖，从而提升模型的灵活性与应变能力。

果冻人工智能

搞人工智能开源大语言模型GPT2、Llama的正确姿势（如果想及时收到人工智能相关的知识更新，请点击关注！！）序言：目前我们每一小节的内容都讲解得非常慢，因为这是人工智能研发中的最基础知识。如果我们不能扎实掌握这些知识，将很难理解后续更复杂且实用的概念。因此，我们甚至采用一个概念一节的方式来编排内容，区分得清清楚楚、明明白白，以便大家能够非常明确地了解各知识点之间的关联关系和界限。本节将讲述一种在人工智能领域中被视为“泰斗绝学”的方法，帮助我们高效地完成模型训练——这项绝学就是“迁移学习”。

果冻人工智能

让卷积神经网络来辨识马和人上一篇：《设计卷积神经网络CNN为什么不是编程？》序言：我们已经踏入了设计人工智能（AI）模型的大门，有一个重要概念请大家务必记住：人工智能模型 = 架构 + 特征。任何一个AI模型都是先设计出架构，再通过数据训练获得特征。整合了特征的架构才算是一个完整的人工智能模型，如果没有特征的支撑，架构本身还不能称为人工智能模型。

果冻人工智能

设计卷积神经网络CNN为什么不是编程？上一篇：《搞清楚这个老六的真面目！逐层‘剥开’人工智能中的卷积神经网络（CNN）》序言：现在让我们开始走进卷积神经网络（CNN）的世界里。和传统编程完全不同，在人工智能的程序代码里，您看不到明确的算法规则，看到的只是神经网络的配置说明。这里的代码不会像传统编程那样去具体实现每个功能。比如说，如果您想让电脑分辨猫和狗，您不需要写代码去解释猫和狗长得什么样，而是通过描述神经网络的配置，让它在训练过程中通过数据自己学会。描述就像艺术，如何恰到好处地增添一笔，才能带来非凡的效果？这正是设计人工智能的精髓！！