量化

AI算法-图哥7 天前
人工智能·pytorch·深度学习·文生图·模型压缩·量化
pytorch量化训练训练时量化(Quantization-aware Training, QAT)是一种在模型训练过程中,通过模拟低精度量化效应来增强模型对量化操作的鲁棒性的技术。与后训练量化不同,QAT 允许模型在训练过程中考虑到量化引入的误差,从而在实际部署时使用低精度进行推理时能够维持更高的性能。
1037号森林里一段干木头1 个月前
算法·均值算法·回归·量化
量化之一:均值回归策略均值回归(Mean Reversion)是金融市场中一种常见的现象,指的是资产价格在偏离其长期平均值后,最终会回归到该平均值。本文将详细探讨均值回归的理论基础、数学公式以及其在交易策略中的应用。
量化祛魅师2 个月前
数据库·python·mysql·金融·量化
1.量化第一步,搭建属于自己的金融数据库!数据是一切量化研究的前提。 做量化没有数据,就相当于做饭时没有食材。很多时候,我们需要从大量的数据中寻找规律,并从中开发出策略。如果我们每次使用的时候,都从网上去找数据,一方面效率低下,另一方面短时间大量的数据请求也很有可能招致封禁。
Fulin_Gao2 个月前
部署·量化·awq
【量化部署】AWQ in MLSys 2024论文: AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration 作者: MIT 代码: AWQ 特点: 该方法是一个仅量化权重的方法(W4A16),AWQ认为只有极少部分(1%)模型权重是十分重要的,在量化时应该着重保护它们。AWQ根据校准数据输入模型后得到的激活值的量级来锁定重要权重,通过放大这些权重来实现对他们的保护,放大因子是对应激活量级的 α \alpha α次方。
愤怒的可乐2 个月前
论文阅读·量化
[论文笔记]LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale今天带来第一篇量化论文LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale笔记。
jnpher3 个月前
ide·人工智能·vscode·ai·chatgpt·金融·量化
开源一套金融大模型插件(ChatGPT)
我爱学Python!4 个月前
人工智能·自然语言处理·llm·大语言模型·量化·ai大模型·rag
量化方法怎么选?如何评估量化后的大模型LLM?文章内容总结自:Evaluating Quantized Large Language Models(https://arxiv.org/abs/2402.18158)
engchina4 个月前
llama·量化
LLaMA模型量化方法优化:提高性能与减小模型大小在大型语言模型(LLM)的应用中,模型大小和推理速度一直是关键的挑战。最近,一项针对LLaMA模型的优化工作提出了一系列新的量化方法,旨在在保持模型性能的同时显著减小模型大小。本文将详细介绍这些新的量化技术及其带来的性能提升。
苏慕白的博客4 个月前
后端·金融·rust·量化·高频量化
Rust调用sui合约照着move-book教程 Hello, Sui! - The Move Book 很快写完 move 合约部署到测试网
伊织code4 个月前
大模型·llama·量化·llama.cpp
llama.cppllama.cpp的主要目标是 使LLM推理 具有最少的设置和最先进的性能,在各种硬件–本地和云端。自启动以来,由于许多 contributions,该项目有了显著改善。 它是为ggml库 开发新功能的主要场所。
伊织code4 个月前
llama·量化·autogptq·quantization·awq·quanto·aqlm
Llama - 量化本文翻译整理自: https://llama.meta.com/docs/how-to-guides/quantization/
two_apples4 个月前
llm·量化·awq
LLM量化--AWQ论文阅读笔记写在前面:近来大模型十分火爆,所以最近开启了一波对大模型推理优化论文的阅读,下面是自己的阅读笔记,里面对文章的理解并不全面,只将自己认为比较重要的部分摘了出来,详读的大家可以参看原文 原论文地址:https://arxiv.org/pdf/2306.00978
HuggingFace5 个月前
量化·kv缓存
用 KV 缓存量化解锁长文本生成很高兴和大家分享 Hugging Face 的一项新功能: KV 缓存量化 ,它能够把你的语言模型的速度提升到一个新水平。
Luchang-Li5 个月前
llm·量化·异常值·激活
突破性技术: 大语言模型LLM量化激活outliers异常值抑制LLM过去有两种突破性技术大大提升了量化精度,分别是group-wise量化和GPTQ/AWQ量化。前者相比于过去的per-tensor和per-channel/per-axis量化提出了更细粒度的对channel拆分为更小单元的量化方式,后者通过巧妙的算法明显提升了4bit量化的精度。
亚图跨际6 个月前
python·天气·量化·建筑设计·风电·不确定性·分类过程
Python | R | MATLAB高斯过程统计模型📜海上风电场模型 | 📜天气和建筑设计模型 | 📜不确定性量化应用模型 | 📜马尔可夫链蒙特卡罗算法多模态采样贝叶斯模型 | 📜分类过程最大似然模型 | 📜C++和Python通信引文道路社评电商大规模行为图结构数据模型 | 📜Python燃气轮机汽车钢棒整流电路控制图统计模型过程潜力分析 。
庞德公6 个月前
人工智能·大模型·量化·qat·ptq
picoLLM:大模型的量化魔术师 上大模型技术论文不断,每个月总会新增上千篇。本专栏精选论文重点解读,主题还是围绕着行业实践和工程量产。若在某个环节出现卡点,可以回到大模型必备腔调重新阅读。而最新科技(Mamba,xLSTM,KAN)则提供了大模型领域最新技术跟踪。若对于如果构建生成级别的AI架构则可以关注AI架构设计专栏。技术宅麻烦死磕LLM背后的基础模型。
FuckTheWindows6 个月前
股票·量化·行情接口·自动交易
可转债日内自动T+0交易,行情推送+策略触发+交易接口jvQuant平台之前用过该策略,单月收益还行,策略思想大概是模式二,交易频率还有提升空间,所以开发出了频率较高的模式一。
萤火架构7 个月前
剪枝·模型压缩·量化·蒸馏
扎克伯格说,Llama3-8B还是太大了,量化、剪枝、蒸馏准备上!扎克伯格说,Llama3-8B还是太大了,不适合放到手机中,有什么办法?量化、剪枝、蒸馏,如果你经常关注大语言模型,一定会看到这几个词,单看这几个字,我们很难理解它们都干了些什么,但是这几个词对于现阶段的大语言模型发展特别重要,它们就是将模型缩小的利器。这篇文章就带大家来认识认识它们,理解其中的原理。
FuckTheWindows7 个月前
股票·量化
level2行情+在线金融数据库jvQuant:一站式金融量化服务平台jvQuant作为一个领先的金融量化服务平台,为广大投资者和量化分析师提供了全面、高效、稳定的数据接入和量化分析服务。该平台涵盖了多个关键功能,包括交易接入、WebSocket行情接入、历史行情查询、在线数据库服务以及灵活的计费标准,旨在满足不同用户的多样化需求。
赫兹量化软件7 个月前
量化交易·量化·期货
期货量化交易软件:MQL5 中的范畴论 (第 15 部分)函子与图论概述在上一篇文章中,我们目睹了前期文章中涵盖的概念(如线性序)如何视作范畴,以及为什么它们的“态射”在与其它范畴相关时即构成函子。在本文中,我们赫兹量化软件将阐述来自前期文章中的概括,即通过查看图论如何具有与上一篇文章中查看的线性序类似的用途。为了使用图论,我们赫兹量化将 MQL5 日历数据重构为图形,由此作为一个范畴。这将是一个关键焦点。本文的目的仍然会像我们之前的一篇,寻求明示在两个范畴之间函子的波动性预测潜力。不过,在这种情况下,我们的域范畴是一个图形,而协域将在预排序时间序列中显示标准普尔 500