量化

深度学习笔记——模型压缩和优化技术（蒸馏、剪枝、量化）本文详细介绍模型训练完成后的压缩和优化技术：蒸馏、剪枝、量化。模型压缩和优化技术是为了在保证模型性能（精度、推理速度等）的前提下，减少模型的体积、降低计算复杂度和内存占用，从而提高模型在资源受限环境中的部署效率。这些技术对于在边缘设备、移动设备等计算资源有限的场景中部署深度学习模型尤为重要。以下是几种常见的模型压缩和优化技术的解释：

AI算法-图哥

pytorch量化训练训练时量化（Quantization-aware Training, QAT）是一种在模型训练过程中，通过模拟低精度量化效应来增强模型对量化操作的鲁棒性的技术。与后训练量化不同，QAT 允许模型在训练过程中考虑到量化引入的误差，从而在实际部署时使用低精度进行推理时能够维持更高的性能。

1037号森林里一段干木头

量化之一：均值回归策略均值回归（Mean Reversion）是金融市场中一种常见的现象，指的是资产价格在偏离其长期平均值后，最终会回归到该平均值。本文将详细探讨均值回归的理论基础、数学公式以及其在交易策略中的应用。

量化祛魅师

1.量化第一步，搭建属于自己的金融数据库！数据是一切量化研究的前提。做量化没有数据，就相当于做饭时没有食材。很多时候，我们需要从大量的数据中寻找规律，并从中开发出策略。如果我们每次使用的时候，都从网上去找数据，一方面效率低下，另一方面短时间大量的数据请求也很有可能招致封禁。

【量化部署】AWQ in MLSys 2024论文： AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration 作者： MIT 代码： AWQ 特点：该方法是一个仅量化权重的方法（W4A16），AWQ认为只有极少部分（1%）模型权重是十分重要的，在量化时应该着重保护它们。AWQ根据校准数据输入模型后得到的激活值的量级来锁定重要权重，通过放大这些权重来实现对他们的保护，放大因子是对应激活量级的 α \alpha α次方。

愤怒的可乐

[论文笔记]LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale今天带来第一篇量化论文LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale笔记。

开源一套金融大模型插件(ChatGPT)

我爱学Python!

量化方法怎么选？如何评估量化后的大模型LLM？文章内容总结自：Evaluating Quantized Large Language Models（https://arxiv.org/abs/2402.18158）

LLaMA模型量化方法优化:提高性能与减小模型大小在大型语言模型(LLM)的应用中,模型大小和推理速度一直是关键的挑战。最近,一项针对LLaMA模型的优化工作提出了一系列新的量化方法,旨在在保持模型性能的同时显著减小模型大小。本文将详细介绍这些新的量化技术及其带来的性能提升。

苏慕白的博客

Rust调用sui合约照着move-book教程 Hello, Sui! - The Move Book 很快写完 move 合约部署到测试网

llama.cppllama.cpp的主要目标是使LLM推理具有最少的设置和最先进的性能，在各种硬件–本地和云端。自启动以来，由于许多 contributions，该项目有了显著改善。它是为ggml库开发新功能的主要场所。

Llama - 量化本文翻译整理自： https://llama.meta.com/docs/how-to-guides/quantization/

LLM量化--AWQ论文阅读笔记写在前面：近来大模型十分火爆，所以最近开启了一波对大模型推理优化论文的阅读，下面是自己的阅读笔记，里面对文章的理解并不全面，只将自己认为比较重要的部分摘了出来，详读的大家可以参看原文原论文地址：https://arxiv.org/pdf/2306.00978

用 KV 缓存量化解锁长文本生成很高兴和大家分享 Hugging Face 的一项新功能: KV 缓存量化，它能够把你的语言模型的速度提升到一个新水平。

突破性技术: 大语言模型LLM量化激活outliers异常值抑制LLM过去有两种突破性技术大大提升了量化精度，分别是group-wise量化和GPTQ/AWQ量化。前者相比于过去的per-tensor和per-channel/per-axis量化提出了更细粒度的对channel拆分为更小单元的量化方式，后者通过巧妙的算法明显提升了4bit量化的精度。

Python | R | MATLAB高斯过程统计模型📜海上风电场模型 | 📜天气和建筑设计模型 | 📜不确定性量化应用模型 | 📜马尔可夫链蒙特卡罗算法多模态采样贝叶斯模型 | 📜分类过程最大似然模型 | 📜C++和Python通信引文道路社评电商大规模行为图结构数据模型 | 📜Python燃气轮机汽车钢棒整流电路控制图统计模型过程潜力分析。

picoLLM：大模型的量化魔术师上大模型技术论文不断，每个月总会新增上千篇。本专栏精选论文重点解读，主题还是围绕着行业实践和工程量产。若在某个环节出现卡点，可以回到大模型必备腔调重新阅读。而最新科技（Mamba，xLSTM,KAN）则提供了大模型领域最新技术跟踪。若对于如果构建生成级别的AI架构则可以关注AI架构设计专栏。技术宅麻烦死磕LLM背后的基础模型。

可转债日内自动T+0交易,行情推送+策略触发+交易接口jvQuant平台之前用过该策略，单月收益还行,策略思想大概是模式二，交易频率还有提升空间，所以开发出了频率较高的模式一。

扎克伯格说，Llama3-8B还是太大了，量化、剪枝、蒸馏准备上！扎克伯格说，Llama3-8B还是太大了，不适合放到手机中，有什么办法？量化、剪枝、蒸馏，如果你经常关注大语言模型，一定会看到这几个词，单看这几个字，我们很难理解它们都干了些什么，但是这几个词对于现阶段的大语言模型发展特别重要，它们就是将模型缩小的利器。这篇文章就带大家来认识认识它们，理解其中的原理。

level2行情+在线金融数据库jvQuant：一站式金融量化服务平台jvQuant作为一个领先的金融量化服务平台，为广大投资者和量化分析师提供了全面、高效、稳定的数据接入和量化分析服务。该平台涵盖了多个关键功能，包括交易接入、WebSocket行情接入、历史行情查询、在线数据库服务以及灵活的计费标准，旨在满足不同用户的多样化需求。