transformers

GitHub上Transformers项目中推理函数pipeline的使用Transformers是文本、计算机视觉、音频、视频和多模态模型(text, computer vision, audio, video, and multimodal model)领域最先进的机器学习模型的模型定义框架(model-definition framework)，可用于推理和训练。源码：https://github.com/huggingface/transformers，最新发布版本v4.57.1，license为Apache-2.0。

Spring AI 系列之十五 - RAG-ETL之二之前做个几个大模型的应用，都是使用Python语言，后来有一个项目使用了Java，并使用了Spring AI框架。随着Spring AI不断地完善，最近它发布了1.0正式版，意味着它已经能很好的作为企业级生产环境的使用。对于Java开发者来说真是一个福音，其功能已经能满足基于大模型开发企业级应用。借着这次机会，给大家分享一下Spring AI框架。

Gradio全解20——Streaming：流式传输的多媒体应用（3）——实时语音识别技术本章讲述流式传输的应用，包括音频、图像和视频格式的流式传输。本章讲述流式传输的应用，包括音频、图像和视频格式的流式传输。音频应用包括流式传输音频、构建音频对话式聊天机器人、实时语音识别技术和自动语音检测功能；图像应用包括基于WebRTC的摄像头实时目标检测；视频应用包括构建视频流目标检测系统。

Jackilina_Stone

transformers：打造的先进的自然语言处理github地址：https://github.com/huggingface/transformers

Hugging Face的Transformers核心模块：Pipelines(参数说明，各种模型类型调用案例)如果电脑配置不够可以参考文章《学AI-撸羊毛-免费GPU服务器-kaggle-每周30小时-可以进行数据训练，大模型微调》申请免费服务器执行代码。

Yongqiang Cheng

Hugging Face Transformers and Meta LlamaHugging Face https://github.com/huggingfacehttps://github.com/huggingface/transformers

诸神缄默不语

Re78 读论文：GPT-4 Technical Report诸神缄默不语-个人CSDN博文目录诸神缄默不语的论文阅读笔记和分类论文全名：GPT-4 Technical Report

养一只Trapped_beast

pip install transformers教程直接pip install transformers会报错，报错内容如下：重点是Cargo, the Rust package manager, is not installed or is not on PATH这句话，所以可能Rust没有安装，那我们安装Rust，参考网址，具体步骤：

LLM模型的generate和chat函数区别在 Hugging Face 的 transformers 库中，GPT（Generative Pre-trained Transformer）类的模型有两个常用的生成文本的方法：generate 和 chat。这两个方法在使用上有一些区别。通常公司发布的 LLM 模型会有一个基础版本，还会有一个 Chat 版本。比如，Qwen-7B（基础版本）和 Qwen-7B-Chat（Chat 版本）。

Transformers 框架 Pipeline 任务详解：文本转音频（text-to-audio 或 text-to-speech）在上一篇文章（Transformers 框架任务概览：从零开始掌握 Pipeline（管道）与 Task（任务）），我们深入探讨了 Transformers 框架中的 Pipeline 和 Task 分类、配置及执行流程。今天，我们将聚焦于五大任务之一的text-to-audio或text-to-speech（TTS），探索如何利用 Transformers 将文本转换为自然流畅的语音。

XLA中生成Causal Mask上三角-inf矩阵transformers生成CausalAttentionMask的上三角-inf矩阵：参考transformers源码

深入解析 Transformers 框架（四）：Qwen2.5/GPT 分词流程与 BPE 分词算法技术细节详解前面我们已经通过三篇文章，详细介绍了 Qwen2.5 大语言模型在 Transformers 框架中的技术细节，包括包和对象加载、模型初始化和分词器技术细节：

BPE vs WordPiece：理解 Tokenizer 的工作原理与子词分割方法在应用的路上“蒙着头”走了一段，是时候回过头来理解其中的工作原理了。文章将以文本处理为例，介绍数据预处理中的关键组件——Tokenizer（分词器）。需要注意的是，这里是偏概念性的讲解，不会严谨地讨论具体函数的参数细节。

更快的辅助生成: 动态推测⭐ 在这篇博客文章中，我们将探讨动态推测解码 ——这是由英特尔实验室和 Hugging Face 开发的一种新方法，可以加速文本生成高达 2.7 倍，具体取决于任务。从 Transformers🤗 发布的版本 4.45.0 开始，这种方法是辅助生成的默认模式⭐

ChromaDB教程_2024最新版（下）Embeddings（嵌入）是表示任何类型数据的AI原生方式，它非常适用于各种AI驱动的工具和算法中。它们可以表示文本、图像，很快还可以表示音频和视频。有许多创建嵌入的选项，无论是在本地使用已安装的库，还是通过调用API。

基于 Quanto 和 Diffusers 的内存高效 transformer 扩散模型过去的几个月，我们目睹了使用基于 transformer 模型作为扩散模型的主干网络来进行高分辨率文生图 (text-to-image，T2I) 的趋势。和一开始的许多扩散模型普遍使用 UNet 架构不同，这些模型使用 transformer 架构作为扩散过程的主模型。由于 transformer 的性质，这些主干网络表现出了良好的可扩展性，模型参数量可从 0.6B 扩展至 8B。

hg transformers pipeline使用在Hugging Face的transformers库中，pipeline是一个高级API，它提供了一种简便的方式来使用预训练模型进行各种NLP任务，比如情感分析、文本生成、翻译、问答等。通过pipeline，你可以在几行代码内实现复杂的NLP任务。pipeline会自动加载用于指定任务的默认模型和tokenizer，如果需要，用户也可以指定使用特定的模型和tokenizer

transformers进行学习率调整lr_scheduler（warmup）Warmup（预热）是深度学习训练中的一种技巧，旨在逐步增加学习率以稳定训练过程，特别是在训练的早期阶段。它主要用于防止在训练初期因学习率过大导致的模型参数剧烈波动或不稳定。预热阶段通常是指在训练开始时，通过多个步长逐步将学习率从一个较低的值增加到目标值（通常是预定义的最大学习率）。

Deepspeed : AttributeError: ‘DummyOptim‘ object has no attribute ‘step‘题意：尝试在一个名为 DummyOptim 的对象上调用 .step() 方法，但是这个对象并没有定义这个方法