labml-nn:带注释的 pyTorch 论文实现

作者:CSDN @ 养乐多

labml-nn库集合了多种神经网络和相关算法的简单 PyTorch 实现,可以帮助我们快速开发深度学习模型。并配有逐行解释代码的文档。

一、网站

给大家分享一个深度学习模型代码逐行解释网站(https://nn.labml.ai/),主流模型都包含在里面。

该网站中文翻译网站:https://nn.labml.ai/zh/

该网站可以逐行解释深度模型代码。

二、主要包含的模型

主要包含的模型有

类型 项目
Transformers 多头注意力、Transformer构建模块、Transformer XL、相对多头注意力、旋转位置嵌入(RoPE)、带线性偏置的注意力(ALiBi)、RETRO、压缩Transformer、GPT架构、GLU变种、kNN-LM: 通过记忆实现泛化、反馈Transformer、开关Transformer、快速权重Transformer、FNet、无注意力Transformer、掩码语言模型、MLP-Mixer: 用于视觉的全MLP架构、关注MLPs(gMLP)、视觉Transformer(ViT)、Primer EZ、Hourglass
Eleuther GPT-NeoX 在48GB GPU上生成、在两个48GB GPU上微调、LLM.int8()
扩散模型(Diffusion models) 降噪扩散概率模型(DDPM)、降噪扩散隐式模型(DDIM)、潜在扩散模型、稳定扩散
生成对抗网络(Generative Adversarial Networks) 原始GAN、具有深度卷积网络的GAN、Cycle GAN、Wasserstein GAN、具有梯度惩罚的Wasserstein GAN、StyleGAN 2
递归高速公路网络(Recurrent Highway Networks) 循环公路网络
LSTM
HyperNetworks - HyperLSTM 超网络 - HyperLSTM
ResNet 残差网络
ConvMixer
胶囊网络(Capsule Networks)
U-Net
Sketch RNN
图神经网络(Graph Neural Networks) 图注意力网络(GAT)、图注意力网络v2(GATv2)
强化学习(Reinforcement Learning) 近端策略优化与广义优势估计、具有双网络、优先回放和双Q网络的深度Q网络
反事实遗憾最小化(CFR) 用 CFR 解决信息不完全的游戏,例如扑克。库恩扑克
优化器(Optimizers) Adam、AMSGrad、具有预热的Adam优化器、Noam优化器、修正的Adam优化器、AdaBelief优化器、Sophia-G优化器
标准化层(Normalization Layers) 批标准化、层标准化、实例标准化、组标准化、权重标准化、批-通道标准化、DeepNorm
蒸馏(Distillation)
自适应计算(Adaptive Computation) PonderNet
不确定性(Uncertainty) 用于分类不确定性量化的证据深度学习
激活函数(Activations) 模糊平铺激活(Fuzzy Tiling Activations)
语言模型抽样技术(Language Model Sampling Techniques) 贪婪抽样、温度抽样、前k个抽样、核抽样(Nucleus Sampling)
可扩展训练/推理(Scalable Training/Inference) Zero3内存优化

三、github代码

https://github.com/labmlai/annotated_deep_learning_paper_implementations/tree/master/labml_nn

四、pip安装

javascript 复制代码
pip install labml-nn
相关推荐
jndingxin4 分钟前
OpenCV 图形API(63)图像结构分析和形状描述符------计算图像中非零像素的边界框函数boundingRect()
人工智能·opencv·计算机视觉
旧故新长9 分钟前
支持Function Call的本地ollama模型对比评测-》开发代理agent
人工智能·深度学习·机器学习
明月与玄武17 分钟前
Python编程的真谛:超越语法,理解编程本质
python·编程语言
CodeCraft Studio19 分钟前
Excel处理控件Aspose.Cells教程:使用 Python 在 Excel 中进行数据验
开发语言·python·excel
微学AI21 分钟前
融合注意力机制和BiGRU的电力领域发电量预测项目研究,并给出相关代码
人工智能·深度学习·自然语言处理·注意力机制·bigru
知来者逆33 分钟前
计算机视觉——速度与精度的完美结合的实时目标检测算法RF-DETR详解
图像处理·人工智能·深度学习·算法·目标检测·计算机视觉·rf-detr
一勺汤36 分钟前
YOLOv11改进-双Backbone架构:利用双backbone提高yolo11目标检测的精度
人工智能·yolo·双backbone·double backbone·yolo11 backbone·yolo 双backbone
武汉唯众智创38 分钟前
高职人工智能技术应用专业(计算机视觉方向)实训室解决方案
人工智能·计算机视觉·人工智能实训室·计算机视觉实训室·人工智能计算机视觉实训室
Johny_Zhao1 小时前
MySQL 高可用集群搭建部署
linux·人工智能·mysql·信息安全·云计算·shell·yum源·系统运维·itsm
拾忆-eleven1 小时前
C语言实战:用Pygame打造高难度水果消消乐游戏
c语言·python·pygame