NAND 这门生意 - 技术栈

第 1 章 NAND 这门生意

1.1 存储产业的变革

过去十年间存储产业的演进堪称变革性------可以说这是整个行业历史上所经历的最重大变化之一。由于本书聚焦 NAND 闪存，我们将考察以下三方面的剧烈变化：(1) 厂商格局；(2) 用于构建 NAND 存储单元的基础技术；(3) 不同细分市场中用法的变化------正是这些变化使 SSD 成为 NAND 的关键增长产品。下面让我们稍作展开，逐一考察这些变化。

1.1.1 NAND 与存储厂商格局的整合

存储厂商格局发生剧烈整合的背后有许多因素。我们先来考察这一变化的程度以及其中一些长期性规律。图 1.1 表明，在短短七年时间里，存储产业的比特（bit）供应从 2008 年由九家厂商提供 95 %，缩减到今天的仅五家厂商。而且，整合很可能在 NAND 与硬盘（HDD）厂商之间继续进行------这些厂商感受到市场下滑的压力，因而倾向于合作和/或收购 NAND 技术与供应。因此，需要问的问题是：是什么因素导致了产业中这些重大变化？

存储制造设施（fabrication facility）的规模，以及设备所需的投资，已使得新建一座要在量产中具备竞争力的最先进制造设施，其入场成本达到数十亿美元量级。

$图 1.1$ 存储厂商产业的整合。在短短 6 年时间里，存储厂商格局已整合为 5 家大厂，它们提供超过 95 % 的存储比特。"分组总计"仅指本页所列公司，尽管可能还存在其他公司。Micron 包含 IM Flash 出售给 Intel 的 NAND，以及合并前计入的 Elpida 营收。Samsung 与 Toshiba 包含其报告的总存储营收。来源：Micron, micron.com, 2014 冬季分析师会议

大宗商品化存储市场的下行周期这一市场动态，也在 Qimonda、Elpida、Numonyx 以及若干较小厂商等大型厂商的消亡中发挥了作用。这几乎是一个行业中不可避免的部分------在预期量产之前的三到四年就必须对技术与制造设施进行投资。这使得正确预测需求与供给变得极具挑战，从而频繁地引发短期的过剩与短缺。在下行期，那些缺乏财务实力、或未能涉足更高毛利细分市场的厂商很难维持盈利，往往最终将其资产出售给资金更充裕的更大玩家。3. 控制芯片与固件技术支持，已日益成为 NAND 厂商保持竞争力所必需的。因此，不仅领导力是原厂 NAND 产品的要求，对于今天采用 SATA、SAS 与 PCIe 接口的 SSD，以及采用 eMMC 和类 eMMC 产品的手机与平板而言，控制芯片与固件技术同样如此。可移动卡与 USB 使用相对更简单的控制芯片与固件，其在整体 NAND 比特消耗中的占比也正在变小。
大多数行业专家现在预测，随着 NAND 成本逐代下降，硬盘将日益被基于 NAND 的产品所取代。可以看到一些本质上需要中等容量的应用正转向 NAND，例如容量 8--64 GB 的 MP3 播放器几乎已完全......

1.1.2 NAND 技术的转型

本十年间最重大的存储技术转型，可以说是量产的 NAND 从二维（2D------每个节点借助先进光刻设备在 x 和 y 维度上微缩）向三维（3D------在 z 维度上微缩，NAND 单元变为垂直结构，并借助先进刻蚀设备不断增加层数）的普遍迁移。3D 垂直存储要求把这些层从今天的 32 层、48 层扩展到未来几年的 64 层乃至更高。2D 中的工艺技术微缩在每个相继的节点上都已变得成本高得令人生畏、技术上极具挑战。然而，厂商仍持续感受到要提供进一步成本/比特下降、以有效与 HDD 竞争的压力，因此已转向 3D NAND 产品，这有助于它们在更长期内实现更低的成本结构。

向 3D NAND 的持续转型，需要对采用不同设备组合的大规模制造设施（fab）进行巨额资金投入。图 1.2 展示了第一代 3D 所需的一次性资本支出（CapEx）大幅增长，预计将达到数十亿美元量级（注：未来几代 3D NAND 预计不会出现同等规模的投资，因为部分设备会像 2D 微缩时代多年来的做法那样被重复利用）。此外，NAND 制造商在量产中应用这一新技术时，还会有预期的学习曲线成本。这很可能会在初期压低良率，并提高第一代 3D NAND 产品的成本/比特。最后，对于 SSD、eMMC 等嵌入式产品及其他产品的下游厂商而言，初期转型成本也会更高，因为必须适应新的技术权衡（tradeoff）与失效模式，这会增加开发成本、抬高难度。不过，3D NAND 的前景在于：这些都是一次性的转型成本，到第二代 3D NAND 时，其成本/比特将低于 2D NAND 本可达到的水平。在厂商动态方面，Samsung 自 2014 年起就已推出量产的 3D NAND 代次，并且可以预计它

$图 1.2$ 第一代 3D NAND 所需资本支出的一次性大幅增长------相比 2D NAND 节点所需的领先光刻设备，它需要更多、更复杂的刻蚀设备。来源：Micron, micron.com, 2014 冬季分析师会议

会比目前正推出量产 3D NAND 产品的其他 NAND 厂商在学习曲线上略微领先。这一优势会产生近期影响，但预计会较为短暂。

1.1.3 NAND 用法模式的改变

NAND 生态系统中重大变化的最后一大要素，在于使用 NAND 的各细分市场本身。驱动 NAND 比特用量增长的应用，在出货量与单机容量增长方面一直在随时间变化。图 1.3 展示了过去几年中部分市场用法的变化。

$图 1.3$ 随着 NAND 成本下降，SSD 在过去几年中急剧崛起。不过，这一变化强化了基于 Intel 的 x86 生态系统对 NAND roadmap 方向的驱动作用，其程度不亚于过去移动手机/平板 ARM 生态系统的影响（Intel 生态系统的定义按 Intel 的口径：下游使用其处理器的笔记本与服务器厂商，以及与 x86 架构结盟的软件厂商）

消费级 SSD 的增长。过去几年中 SSD 在笔记本电脑中的增长，既体现在采用 SSD 的笔记本比例（attach rate，搭载率）上，也体现在随着 NAND 价格下降而使用的更高容量 SSD 上。消费级 SSD 增长的影响，远不止于 NAND 被用于哪种应用。消费级 SSD（大多基于 Intel x86）的控制芯片厂商、SSD 厂商和客户群，往往与移动生态系统玩家（基于 ARM）有显著不同，而后者对 roadmap 的影响力已受到冲击。有人认为，消费级 SSD 如今已成为 NAND 在供过于求情形下的关键泄洪市场（而不再是原厂 NAND 市场------在几年前，当较小的第三方卡与 USB 厂商消耗的 NAND 比特份额高于现在时，原厂 NAND 市场曾扮演类似的角色）。
企业级 SSD 的成长。这是一个复杂的领域，今天会用到 SAS、SATA 和 PCIe 等多种接口。我们将在下一节详细探讨这一细分市场，因为它 (1) 在技术与商业上都很复杂，(2) 有潜力在未来五年内成为 NAND 比特的领先用户，从而成为 NAND 器件 roadmap 的关键驱动力。- 可移动形态（如 Flash 卡与 USB）在产业 NAND 比特使用占比中的下降。网络接入的改善、客户端可用容量的提高以及云存储的增长，进一步降低了对存储卡与 USB 的需求。这些变化看起来颇为细分，但它们已经并将继续对 NAND 器件战略与 roadmap（容量、细分市场重点、以及所需支持组织）产生深远影响。在产品层面，具备适用于 SSD、eMMC 等终端产品的控制芯片与固件能力的玩家，将处于有利位置。影响 NAND 的关键用法模式变化是 SSD 与复杂的企业级 SSD 领域。让我们在 1.2 节中更详细地考察。

1.2 固态硬盘

1.2.1 企业级 SSD

企业级 SSD 市场（图 1.4）是 NAND 版图中最有趣的细分市场之一，原因有多种。上一节表明，卡、USB 和移动等传统 NAND 市场只是下滑或温和增长，而企业级 SSD 与消费级 SSD 细分市场则增长迅速，并预计在未来几年继续如此。其原因在于，企业级应用与存储对存储容量和性能的需求内在增长，SSD 每 GB 成本的下降，以及客户端数据日益向云迁移。其次，从 NAND 器件角度看，企业级 SSD 的容量需求与 3D NAND 更高的单片容量（monolithic capacity，已达 256 Gb 并逐代增长）高度契合。这意味着 4 TB 和

$图 1.4$ 企业级 SSD 通常按其耐久性指标与所针对的应用空间来分类（云与企业用法通常对 3 年或 5 年期的 RFPD------Random Fills Per Day，每日随机填充量------提供质保）。企业级 SSD 的传统分类产生了三种不同的 SSD 规格："读密集"（Read Intensive）为 1--3 RFPD，"混合负载"（Mixed Workload）为 5--10 RFPD，"写密集"（Write Intensive）为 20+ RFPD

8 TB 的 SSD 很快就能以标准 2.5″ 形态实现并面世。最后，企业级 SSD 市场所驱动的需求，最能从 3D NAND 所提供的增强性能与特性中获益；例如，由于寄生负载电容更低，3D NAND 在 8 die 以上堆叠时能够达到 533 MT/s 及以上，而 2D NAND 的 8 层堆叠通常只有 266 和 333 MT/s。其他适用于企业级 SSD 应用的 NAND 特性还包括编程挂起（program suspend）、更高耐久性、multi-plane 操作等。

在企业领域，理解存储层级（memory hierarchy tiers）也很重要，这样才能看清 SSD 的用法如何以最低成本更好地满足整体应用需求。图 1.5 展示了一个经典的存储层级：今天不同技术在其中各司其职------最快的片外存储器易失性 DRAM 是处理器之后的第一层，紧随其后的是新兴的持久性层级，即 NVRAM 与 NVDIMM 方案（在 1.4 节讨论）。再往后的 SSD 层级，则在性能与功耗上优于成本/比特最低的硬盘。

对于 SSD 而言，即便其初始采购成本更高，过去十年中在企业领域的采用率仍快速增长，原因在于 (1) 性能高出 HDD 约 100--1000 倍，(2) 由于没有活动部件，可靠性显著更好（HDD 一直是数据中心失效率最高的部件之一），(3) 功耗显著更低，而功耗是数据中心运营成本的主要组成部分。所有这些因素使 SSD 在越来越多的应用中拥有更低的总体拥有成本（TCO），也解释了其高采用率。如今，企业级 SSD 的使用甚至已达到某种成熟度，不同类型 SSD 之间会主动进行数据分层（常使用"热"数据和"冷"数据这一说法）。今天性能最高的层级是面向性能优化的 PCIe SSD，其次是使用 SAS 和 SATA SSD 的面向成本优化的层级，最后是普遍存在、成本/比特最低、用于更大容量的 HDD。

$图 1.5$ 传统存储层级展示了 DRAM 与硬盘（HDD）之间所使用的多级存储器。带有持久性内存与 NAND 技术的多级 SSD，已改变了数据中心的架构与经济学

今天的平衡趋势是：SSD 支出增加、HDD 支出减少。这一区分并非绝对，最常出现在有资源投入数据与软件优化的大规模云存储部署中，以及企业通过针对特定应用软件（如数据库应用、服务器虚拟化）对硬件进行纵向优化来实现。

企业级 SSD 中值得注意的下一层变化，是三种最常见存储接口------SAS、SATA 和 PCIe------之间细分格局的变化。SAS 接口在企业中最为成熟，来自企业存储领域与 scale-up 存储 SAN 部署的持续支持与强劲采用推动着它。SAS 硬盘具备企业特性（如双端口、端到端数据保护、可扩展性），以及成熟的基于主机的、具备企业级可靠性的技术生态，这使得 SAS SSD 更易于采用，因而历来是较大规模存储部署的首选接口。PCIe SSD 增长最快，原因如下：- 它们提供最高的性能和最低的延迟；- 基于服务器的存储部署在增长，云厂商更偏好......

通过采用消费级形态（如......）实现制造效率与更低成本
为 scale-up（纵向扩展）所需技术而日益壮大的 PCIe 企业生态系统

基于 SATA 的 SSD 最常因成本而被使用，并一直在利用消费级 SSD 的高产量与制造效率，有时会因使用消费级 SSD 的控制芯片与技术而牺牲企业级可靠性特性。这一领域预计会下滑，如图 1.6 所示------低端和基于消费级的 PCIe 能提供与 SATA 相同的成本优势以及更高的性能。

$图 1.6$ 按接口划分的企业级 SSD 增长。可以看到 PCIe 作为首选接口在未来几年急剧上升。其中大部分初期将是企业服务器内置，并随着 PCIe 交换芯片与企业特性的成熟，在企业存储应用中增长。来源：IDC, worldwide solid state drive forecast, 2015--2019, May 2015: IDC #256038 以及 SSD market perspectives, Sept 2015

在企业级 SSD 的这段历史背景与云存储趋势之下，人们现在可以看到基于标准的 NVM Express（NVMe）PCIe SSD 日益增长的吸引力------它们可从多家厂商获得，从而保证生产系统的第二供应源。PCIe SSD 现已被广泛部署在利用 PCIe 总线的服务器中，该总线原本是外设总线，如今也被用于提供直接的存储连接。事实上，正是 SSD 的使用场景推动了当前 NVMe 协议的演进，该协议专注于优化对 NAND 的访问，同时尽量减少历史上存储协议的开销。目前，Intel 架构、器件供应商、成熟 SSD 供应商、NAND 厂商和测试设备供应商都对 NVMe PCIe SSD 给予强力支持。基于 PCIe 的存储型 SSD 的全部益处与吸引力如今可以兑现，包括：- 在 SATA 和 SAS 之上提供最高的性能与最低的延迟。高端 PCIe SSD 可提供超过每秒一百万次读 I/O，延迟在几十 μs 量级。

利用消费级的规模经济，因为 PCIe 在消费级 SSD 中也很流行。这甚至体现在形态偏好上------企业正转向消费级所用的形态，如 2.5 in. 盘和 M.2，以获取制造效率。
对 PCIe 存储（即 PCIe 交换芯片等器件）的生态系统支持不断增长，以及在 NVMf（NVMe over fabric）和可支持更大规模部署的技术上的投入。PCIe SSD 的性能优势，叠加存储部署的钟摆正从传统 DAS、SAN 和 NAS 转向基于服务器的存储这一趋势，表明在未来几年，基于标准的 PCIe NVMe 正在企业领域崛起为领先的 SSD 接口。下面的表 1.1 给出了企业中所用不同接口 SSD 的真实世界性能对比。

来自 Intel-Micron 合资公司关于一种基于新材料的 3D crosspoint 技术的最新发布值得一提。该技术有望拥有比基于 NAND 的 PCIe SSD 更高的性能和耐久性，并且还能替代部分 DRAM 用量。但是，鉴于已公开披露的信息非常有限------该技术的价格点、用法模式与长期成功尚不明确。读者可在第 8 章找到关于 crosspoint 存储阵列的更多细节。

$表 1.1$ 企业级 SSD 不同接口之间的性能对比表明，PCIe SSD 在性能与延迟两方面都显著胜出

1.2.2 自建（BYO）与定制 SSD

正如标题所示，自建（Build-Your-Own, BYO）SSD 是这样一种模式：大型 SSD 消费者决定自己制造 SSD，而非购买现成的标准 SSD。该模式在企业市场中相对较新，但在最大的 SSD 消费者中正日益流行。虽然这一模式在企业中刚刚兴起，但可以看到它以另一种形式在消费级细分市场中已存在多年------多家大型（"Tier 1"）PC 笔记本制造商曾用该模式来优化 SATA SSD。这尤其促成了台湾和中国大陆消费级 SSD 制造商的显著增长，它们利用固件、NAND 类型和形态上的差异化。自建 BYO SSD 的动机有（图 1.7）：- NAND 成本优势：利用原厂 NAND 与 SSD 价格之间的套利。这一差价在过去更大，即便如今已收窄至 30--50 %，BYO SSD 仍能带来可观的成本节约。若能按应用需求调整预留空间（over provisioning），这一优势还可进一步放大，详见 1.2.2.1 节。

运营优势：通过精简 SSD 的开发与部署周期，使其与其他平台转换和部署更紧密对齐，并针对运营方最关心的方面优化 SSD 的特性集与行为来实现。此外，由于 SSD 运营方对 SSD 的实现与架构更为了解，BYO 在部署后支持与改进产品方面也赋予其运营优势。
上市时间（Time-To-Market, TTM）优势：通过两种方式实现。(1) 定制 BYO SSD 可以更早启动联合认证，从而缩短最终......

$图 1.7$ 对 BYO SSD 进行定制与优化的各个方面的图示总结，这些定制使其相对标准 SSD 具有优势

$图 1.8$ 可以优化以借助同一控制芯片获得不同特性 SSD 的平台权衡（Knobs，旋钮）数量。旋钮的例子包括固件变更、功耗包络、DRAM 容量、flash 容量与配置（原则上更多 die 可实现更高的并行性能）、flash 类型（SLC、MLC、TLC），以及与应用架构匹配的主机接口

技术优势：这可以说是 BYO 模式最大的优势领域之一。如图 1.8 所示，可以微调的"平台旋钮"有很多，利用低成本 NAND，优化 DRAM 容量与主机接口，从而得到针对特定应用需求调优的最低成本 SSD。对固件拥有细粒度控制，也使其能与更高层的主机软件紧密集成。对于最大的云部署，还可以看到闪存转换层（FTL）从 SSD 迁移到与主机本身集成（主机侧 FTL），以便让主机和应用对 NAND 拥有细粒度控制（包括数据磨损均衡、垃圾回收的时机等）。有人可能会说，BYO SSD 与最大的云厂商十多年来用于定制服务器的方法并无不同------通过为自己设计一个最小可行方案、而非购买功能齐全的品牌服务器来降低服务器成本。通过采用灵活的控制芯片架构与固件修改，厂商可以支持从成本/性能最低的冷存储到面向数据库应用的高性能 SSD 等各种迥异的需求。下面我们在最常见的三个 SSD 指标语境下考察这些 BYO 修改。

1.2.2.1 耐久性

编程/擦除（PE）循环是耐久性的主要指标，在不同 NAND 类型之间有所不同：业界常规是 - SLC（即 1 bit/cell）为 10k 次编程/擦除（PE）循环及以上；- MLC（即 2 bit/cell）为 3k 次 PE 循环；- TLC（即 3 bit/cell）通常低于 1K 次 PE 循环。

关于 SLC/MLC/TLC 存储的更多细节，请参阅第 3 章。使用这些不同类型的 NAND，因而成为 SSD 实现更高每日随机填充量（Random Fills Per Day, RFPD）的基础，正如在图 1.4 中为企业所定义的那样。今天许多厂商对写密集型 SSD 使用同一控制芯片加 SLC NAND，对混合读写负载使用企业级 MLC NAND，对读密集型 SSD 使用消费级 MLC 甚至 TLC。SLC、MLC 和 TLC 在价格上存在相当大的差距，SLC 与 TLC 之间成本/比特有时相差 5 倍以上，这使得 NAND 的选择成为 SSD 在成本、性能和所需耐久性方面的关键选择之一。

预留空间（Over-Provisioning, OP）是添加到 SSD 上、供闪存控制器用于执行各种存储管理功能的那部分额外闪存容量。本质上，OP 在垃圾回收时有所帮助，并将闪存的编程与擦除操作分散到不同的 NAND 块上，从而提高 SSD 的耐久性。业界最常见的 OP 是企业级 SSD 中 28 %+、对性能和耐久性不那么敏感的消费级 SSD 中 7 %。OP 数值的设计目的是向用户提供所需的存储容量（例如，在企业应用中，1024 GB 的 NAND 加 28 % 预留空间，得到 800 GB 的用户数据空间；而在消费级领域，512 GB 的 NAND 加 7 % 预留空间，相当于 480 GB 用户数据的 SSD）。然而，28 % 和 7 % 都是任意选择，在 BYO 实现中，你可以通过了解负载需求来调高或调低预留空间，例如耐久性、顺序与随机性能、读写比例等。

1.2.2.2 性能/功耗包络

NAND 性能的特性在 SLC、MLC 和 TLC 之间差异显著。一旦确定了应用性能水平，BYO 或定制 SSD 可以说可以选择性能较低但更具成本效益的 MLC 或 TLC NAND，并用具有更多 Flash 通道的控制芯片来补偿（详见第 10 章），以达到相近的性能水平。更多 Flash 通道的权衡有时需要更大的控制芯片，从而增加功耗，这又必须加以管理以满足 SSD 的标准功耗包络（如 9、12、25 W）。因此，一个 BYO SSD 的例子会采用 (1) 更便宜的 NAND（用 MLC 替代 SLC，用 TLC 替代 MLC），(2) 更多通道以提升性能，(3) 强大的 ECC 引擎以扩展耐久性，(4) 最低的 OP 以满足应用的性能与耐久性要求。

功耗：SSD 的总功耗主要由 NAND 本身、控制芯片，以及有时是 DRAM（若在高性能企业级 SSD 中大量使用）所主导。NAND 功耗是所用 NAND 速度（比如 333 MT/s 对 400 MT/s）、使用的 Flash 通道数（今天有 1、4、8、16、32 通道的控制芯片可选）、NAND 类型及其编程模型、以及任意时刻处于活动状态的 die 数量的函数。当系统或 SSD 温度超过系统温度规格时，固件能够自动限流（throttling），尽管这会导致性能/用户体验不均匀，因而不受欢迎。更好的做法是在设计 BYO SSD 时就理解功耗/性能包络与系统级温度约束（针对应用需求进行优化，涉及 NAND 类型、速度、活动 die、功率岛划分、去除不需要的特性、编程与擦除时间，以及控制芯片与 NAND 优化的运用）。

1.2.2.3 NAND 闪存的成本

数 TB 级企业 BYO 或定制 SSD 的总成本目前仍由 NAND 成本主导（可占 SSD 总成本的 80 % 或更高）。因此可以看出，选择正确的 NAND 大概是从成本角度看最重要的决策（例如用 MLC 替代 SLC，或用 TLC 替代 MLC）。从商业角度看，拥有正确的厂商关系、供应链与制造效率，对 BYO 模式的成功至关重要。有一种观点认为，支持来自不同厂商的多种 NAND 类型有助于创造竞争并降低成本（类似于购买任何类型存储器时使用多个供应商来源），而这会带来额外的开发成本，但只有在量足够大时才可行。

最后一个要考虑的因素，是在引入具有更低成本结构的新节点方面的技术领导力。在 NAND 厂商之间，存在这样的差异：是专注于尽早引入节点，还是专注于最激进的 die 尺寸，即便要晚一个或两个季度引入。在量产一个新技术节点时，良率也存在差异，这往往取决于技术选择，比如采用浮栅还是基于电荷陷阱的闪存单元。因此，理解各厂商在技术偏好、历史量产爬坡速度和动机方面的差异，是让 NAND 厂商与终端客户对齐的关键。

图 1.9 的例子假设一颗 2 TB 企业级 SSD，控制芯片具有更多 Flash 通道和更强的 ECC，从而可以使用更低

$图 1.9$ 将一个 2 TB 的 BYO SSD 与标准 SSD 进行对比的实际案例

成本的 NAND。仅硬件初始成本一项，节省就可高达 25--40 %（还不包括额外的运营和技术集成优势）。

1.2.3 SSD 控制芯片的经济学

在上一节中，我们已多次提到使用具有灵活架构的控制芯片来打造定制 BYO SSD，或用同一控制芯片覆盖从读密集到写密集的全谱系 SSD 产品（产品线）的重要性。让我们先来考察 SSD 控制芯片与固件栈背后的经济学。

控制芯片开发成本在最新的 PCI Gen 3 和 SAS 12G 代次中已大幅上升，如今仅初始硅片开发一项通常就在数千万美元量级，此后往往还需要若干次修订来修复 bug，增加成本、风险和进度延误。这个行业的进度延误代价极高，因为某一特定 SSD 产品线通常要与目标时间段内可获得的最低成本 NAND 对齐，而这又决定了 ECC 强度、DRAM 接口等架构选择。因此，如果控制芯片需要一次修订，就要多花 6--9 个月，并可能导致 SSD 错配于那个仅持续 12--15 个月的最低成本 NAND 节点。这种精细而狭窄的规划窗口，可以通过采用能够支持多个 NAND 工艺技术节点和 DRAM 接口的灵活控制芯片架构来避免。
高速设计与特定协议优化（PCIe、SAS 或 NVMe）所需的人员技能组合各有不同，且不易招聘和留住。事实上，固件不仅仅用于算法和修......
固件与配置优化往往只花费硅片开发成本的一小部分。此外，通常还有客户特定的优化，它们鼓励架构一致性，以便把固件工作复用于多代产品中的许多产品；事实上，如果为客户的更高管理层编写客户特定的固件，人们自然而然地倾向于在产品线中以及正在开发的新一代 SSD 中保持这种一致性。
产品验证成本对企业级 SSD 而言也可能相当可观，周期很长。因此，上市时间方案更倾向于复用以往的工作，比如测试脚本------这些脚本往往是多年来围绕某种架构思路编写并不断积累的。因此，一致的控制芯片架构与固件栈有助于复用测试与制造基础设施，从而降低成本并改善产品推出时间。关键的灵活控制芯片硅片（高层）设计点包括：(1) Flash 通道数，(2) DRAM 接口，(3) 支持的企业特性，(4) 功率岛划分，以关闭特定实现所不需要的特性和部分，(5) 强大的 ECC，以支持多代 Flash，(6) 在 NAND 中支持协议与特殊命令的灵活性。除了上述更高层的设计点外，还有一些更细粒度的例子，说明 SSD 控制芯片设计者必须在设计中理解的内容。

Flash 器件之间的协议通信：不仅来自不同厂商的 NAND 不同（ONFI 和 Toggle 协议），有时甚至同一 NAND 厂商所提供的产品之间也不同。例如从 5 字节寻址变为 6 字节寻址，或为普通命令添加前缀命令。采用允许协议由固件来完成的架构，就具有适应这些变化的灵活性。此外，由固件定义的协议还允许 Flash 厂商设计出特殊的访问与命令能力。
Flash 在编程与读取顺序上有不同规则：灵活的控制芯片与固件优化可以适应可变的规则，并使用在开发控制芯片硅片时可能还不存在的更新一代 Flash 的不同变体。让底层协议处理以及对编程和读取的控制都放在固件中，可以实现能使用多种 Flash 的灵活方案。
细化算法/产品差异化：上升到更高层的算法，比如垃圾回收和磨损均衡，Flash 中有许多细微之处。能够从底层功能一直控制到固件中的算法，就可以对更高层算法进行细化，使其与不同类型的 Flash 和应用需求配合得最好。这花费......

1.2.4 消费级 SSD

消费级 SSD 有着不同的市场动态，更多地由成本以及与使用最低成本 NAND 器件的对齐所主导。所涉及的控制芯片技术虽非微不足道，但可从多家厂商更便捷、更具成本效益地获得。由于耐久性和性能要求相比企业级 SSD 较为温和，消费级 SSD 领域的一些成功关键与差异点总结如下。- NAND 器件技术的成本效益，尤其是在采用最新一代 TLC 方面，TLC 正被越来越多地用于消费级 SSD（未来可能还有 QLC，即 4 bit/cell）。与此相关的是，在原厂 NAND 器件上市后，厂商能以多快速度推出基于最新 NAND 节点、通过认证的消费级 SSD 产品。

控制芯片与固件，这一直是拥有显著市场份额的厂商取得成功的关键因素之一。尽管一些消费级 SSD 控制芯片供应商随控制芯片一同提供达到量产水准的固件（即"turnkey 固件"模式），这使得 SSD 厂商无需投入庞大的固件团队即可推出产品。- 特性与硬件形态的灵活性，这可以说是那些不制造 NAND 的较小厂商在市场上取得成功的主要原因。行业中的许多二线玩家把这种灵活性作为一种价值来提供，而一线厂商往往不喜欢把其产品线切分得过细。

目前在消费级 SSD 领域，主导者是 NAND 厂商自己的产品，因为它们能以制造成本获得 NAND，可以预见随着用 3D NAND 进行 3D NAND 转型，这一局面将持续。

1.3 NAND 器件技术的演进：向 3D NAND 的过渡

在了解了存储厂商与 SSD 增长的这一背景之后，我们现在来讨论本书的主题：3D NAND 闪存。关于 NAND 器件技术微缩的讨论，可以从两个重要标准来理解：(1) 需要降低成本/比特，以继续扩大 NAND 在总存储中的占比（往往以 HDD 为代价），以及 (2) ...

$图 1.10$ 长期来看，半导体节点的微缩在 30 nm 以下（2008 年）已明显放缓。大多数行业专家认为，3D 微缩路线将继续让 NAND 在未来十年内保持微缩，并将成为其他半导体存储器越来越多采用的方法

2D 技术在耐久性和性能上的局限，促使人们探索把 3D NAND 作为这项技术的未来。图 1.10 展示了各种 CMOS 半导体技术的微缩演进。很明显，在 30 nm 之后，由于微缩的技术复杂性，以及设备组合每一代都变得成本高得难以承受，微缩已放缓。对于 NAND 而言，在 2D NAND 中，我们已经接近这样一个临界点：定义状态（"1"或"0"）的电子数量已降至个位数，尤其是需要 8 个状态的 TLC。这在每一代都在影响耐久性和性能，并不断提高 ECC 要求。

另一个可以合理提出的问题是：作为厂商，为什么要关注微缩节奏------为什么不满足于较慢的微缩节奏而专注于盈利能力呢？原因在于这样一个现实：NAND 在全球存储比特中仍只占很小的比例，而 HDD 主宰着每年出货的总比特数（图 1.11）。随着基于 NAND 的方案成本效益日益提高，已有很多关于 HDD 消亡的文章。有证据表明，过去几年间 NAND 与 HDD 的成本/比特差距在收窄，但这足够吗？有人可能会说，这一趋势应当逐细分市场来考察。

$图 1.11$ 整体与企业级 SSD 相对 HDD 的估算。图中显示 NAND 仍有巨大的增长空间。来源：Mark Webb, MK Ventures, 2015

消费级与个人消费者应用：日益达到临界点------对该设备而言有用的/典型的容量已进入基于 NAND 方案可及的范围，且其成本相对现有 HDD 方案颇具吸引力。a. MP3 播放器是最早的例子。从 2007--2008 年起，当 30--60 GB 的典型容量可以用 NAND 具有成本效益地满足时，MP3 细分市场在很短时间内几乎完全转向 NAND（还有功耗、可靠性、坚固性、尺寸和重量方面的额外优势，使 NAND 更受青睐）。
手机：是 NAND 比特用量最大的细分市场。8--128 GB 的典型容量可轻易用 NAND 具有成本效益地满足。尺寸、重量......
企业与云数据中心：是预计未来几年 NAND 用量增长率最高的地方。图 1.5 中展示的存储层级表明，SSD 在企业应用中已进入性能层级，如今正开始扩展到容量层级。硬盘将继续被推向更高容量，作为更大容量的批量存储。随着在相继的 3D NAND 代次中引入更高的单片容量，可以预测 NAND 器件技术的需求将出现分化：一类面向低性能、高容量应用（与典型 NAND 规格相比，即便性能较低的 NAND 在性能上也会比 HDD 快数百倍），另一类面向较低密度但偏向性能的应用。下一节将详述更多内容。

尽管本文作者并不认为 HDD 会被完全取代，但基于 NAND 的方案在功耗、性能和可靠性上的技术优越性，将对减少许多应用细分市场中 HDD 的数量产生重大影响，并继续迫使 HDD 走向更高容量。

1.3.1 3D NAND 器件技术

上一节表明，2D NAND 节点的微缩正在放缓，无法满足为扩大 NAND 市场所需的、不可阻挡的成本下降要求。3D 微缩的承诺在于：32--48--64 层（乃至更多）的产品有望在数代之内，以与过去 2D 节点相同的成本/比特速率继续微缩。另一个原因是，最后几代 2D 节点在技术规格上的退化已变得足够严重，从而促使人们转向 3D NAND------后者天然就以更好的耐久性和性能特性起步。

3D 的成本与价格定位。在 3D NAND 中，Gb/mm² 显著更高，但比较比这更复杂。由于 3D NAND 的重点是在垂直方向微缩 NAND 单元，厂商们把工艺技术节点回退了好几代以降低风险。从规格（与价格）角度看，这意味着厂商把 3D NAND 中的 TLC 定位为等同于 2D NAND 中的 MLC。这非常幸运，因为要以 2D MLC 的价格出售 3D TLC 几乎是必需的，这样才能克服基于全新垂直 3D NAND 技术在初期量产爬坡中预期的较低良率。不同厂商宣布的 32 层浮栅（ONFI 厂商）与 48 层电荷陷阱（Toggle 厂商）产品，在初期制造效率上也可能存在差异。单个厂商向 3D 过渡的节奏取决于以下方面。

$图 1.12$ 柱状图显示 2D NAND 中成本/比特的下降。转向 3D NAND 时，预期第一代的成本/比特会暂时上升，因为厂商要解决新技术的问题，并将良率提升到与 2D NAND 相近的水平。厂商之间成本/比特的差异在 15--30 % 范围内，体现了领先厂商与落后厂商之间的差距（假设良率不变）

与最后几代 2D NAND 产品成本结构的对比。如果某厂商在最后几代 2D 节点产品上的 die 尺寸和成本结构高于竞争对手，他们就会感到更大压力去快速量产其 3D 产品。
3D NAND 产品的良率曲线相对上一代 2D 产品成熟良率的上升速度如何（多年来业界量产件的良率曲线常规是 80--85 %）。这意味着一些厂商将不得不等到其第二代 3D 产品，才能实现具有成本效益的 3D 产品（见图 1.12）。
新兴的 3D TLC 能否达到最后几代 2D MLC 节点的技术规格------从而在量产中实现约 2--3k PE 循环的 3D TLC，以及企业级变体 5--10k PE 循环，这一点将很重要。
已宣布的 32 层（ONFI 厂商）与 48 层（Toggle 厂商）产品之间的晶圆成本。制造成本预计会随层数增加而相应变化。
浮栅与电荷陷阱之争，一些行业专家预计不同 3D NAND 产品之间初期会存在制造良率差异。技术规格。由于存储单元几何尺寸更小、能存储在那些存储单元中的电子数量更少，2D NAND 的性能和耐久性规格在各代之间自然退化。过去能达到 10k PE（编程/擦除）循环的 MLC 节点，目前通常标定为 3k PE 循环或更低。最新的 2D TLC 产品

标定仅为几百次 PE 循环。因此，在各代之间下降的关键指标有：- 可靠性（PE 循环）下降；- BER（误码率）上升；- ECC 要求提高（第 10 章有更深入的讨论）。

正如前面所指出的，出于晶圆成本/比特当量的原因，NAND 厂商必须使 3D TLC 的特性与最后几代 2D MLC 相当（例如 3k 次编程耐久循环、高于 400 MT/s 的速度、编程与擦除时间等规格）。虽然这看起来像是一个简单的目标，但要用新设备组合和全新的 3D 技术以高良率实现它，很可能极具挑战。因此，也可以预期不同厂商之间的量产爬坡参差不齐，需要数年时间才能在整个行业趋于一致。

四值单元（QLC，4 bit/cell）。如果 3D TLC 会与 2D TLC 相似，那么问题就来了：什么来替代 2D TLC？在最初的犹豫之后，2D TLC 已成功为几百次 PE 循环创造了市场接受度，尤其是在移动和消费级 SSD 产品中。业界已有 NAND 厂商宣布多项努力，要在 3D NAND 中打造 QLC 产品（四值单元，4 bit/cell，16 个状态）。随着 3D NAND 的 TLC 与 QLC 到来，不难想象单片 die 密度会比今天的 128 Gb 单片 die 密度高 4--8 倍。此外，还需记住，由于最后几代 2D NAND 的严格要求，SSD 控制芯片已内置强大的 ECC。当今最先进的控制芯片支持 40--100 bit/1 kB（BCH）以及 LDPC（Low Density Parity Check，低密度奇偶校验）级别的 ECC，后者正日益被内建到较新的控制芯片中。许多这类控制芯片将长期存在，加之 3D NAND 预期出现的失效模式尚属未知，因此保持控制芯片中 ECC 强大的势头持续存在。这将有助于打造一批其 ECC 足以支持 3D QLC 产品、且功耗/性能足以打造成本结构持续与硬盘有效竞争的产品的控制芯片。

1.3.2 以 TLC 为主的 3D NAND 产出

3D NAND 量产爬坡的净效应是：目前只占产业比特较小部分的 TLC，将在未来几年成为所有厂商的主导产品。图 1.13 显示，TLC 预计到 2017 年将占产业比特的 50 % 以上，并继续增长。可以预计，要到 2017 年所有厂商才会拥有成本效益良好、大批量量产的 3D NAND TLC 产品（行业向 3D NAND 的交叉点正式定义为出货比特中超过 50 % 已过渡到 3D NAND）。值得注意的

$图 1.13$ 随着 3D 转型，TLC 比特的行业平均水平预计会上升。像 Sandisk 和 Samsung 这样的个别厂商一直是领先者，Toshiba 大致处于行业平均水平，而 Micron 和 Hynix 预计将在不久的将来量产 TLC 产出

例外是 Samsung，它已经推出了多代量产的 3D NAND 产品。

有许多低端市场，其应用并不需要 256 Gb（32 GB）或更大作为最小密度（嵌入式、低端手机、对成本敏感的可移动 NAND 产品）；
还有一类应用（DRAM 备份、缓存），通过并行使用多个较小的单片 die、而非少数大容量器件来提升性能。

这些因素将要么迫使 NAND 厂商继续更长时间地支持低密度 2D NAND 产品，要么推出成本效益较差、单片密度较低的 3D 产品。

1.3.3 浮栅 vs 电荷陷阱

最后，在 NAND 器件方面，一个值得关注的有趣技术之争，是用浮栅（Floating Gate, FG）还是电荷陷阱（Charge Trap, CT）技术来构建基础 NAND 存储单元（图 1.14）。虽然大多数 NAND 厂商选择了电荷陷阱，但一个显著的例外是 Micron/Intel 合资公司，它在其 3D NAND 产品中选择基于浮栅的 NAND 单元技术。有一批行业工艺技术专家认为，浮栅是一项为人熟知的技术，其失效模式已被充分理解，并在多代产品中被了解和解决。他们进一步认为，浮栅在初期将具有制造和良率优势。另一批专家则认为，随着向后续

$图 1.14$ 展示了不同厂商所使用的两种不同存储单元类型。Samsung、Toshiba/Sandisk 和 Hynix 使用电荷陷阱（左），而 Intel/Micron 选择使用浮栅（右）。注：本图与图 2.7 相同，图 2.7 对 FG 和 CT 都有更深入的技术分析

几代 3D NAND 产品推进，电荷陷阱从根本上更具可微缩性。虽然今天哪种技术具有更长期潜力尚无明确答案，但可以预期到本十年末会变得明朗。

1.3.4 封装创新：TSV NAND

虽然本节大部分内容是关于 NAND 器件向 3D NAND 的过渡，但还有一个常被忽视的创新领域：封装技术。这一领域有若干技术，总结如下。

把 NAND 代次要求隔离开、并提供更简单、高层一致接口的接口芯片，例如 eMMC 产品、Toshiba 的 SmartNAND、Micron 的 ClearNAND，或用于领先高端移动产品的其他定制接口产品。厂商在技术会议上有一些迹象表明，这些也可能被引入原厂 NAND 产品，以改善更高性能产品的信号完整性。这类产品会采用标准 BGA 和 MCP 封装构建，但额外带有一颗逻辑芯片，可用于 (1) 降低 IO 功耗与电容，(2) 执行 ECC，(3) 处理垃圾回收及其他 Flash NAND 管理例程等更高层功能，从而为主应用处理器提供更简单的更高层接口。

用于更高密度应用的 TSV（Through-Silicon Via，硅通孔）。传统的多 die 封装中，各 die 在边缘键合到基板上，使总连接长度达到数毫米。TSV 就像高楼里的钢梁（如图 1.15 所示）：这使连接长度缩短约 10 倍。更短连接长度的优势有：

$图 1.15$ Toshiba 基于硅通孔（TSV）的 die。这是 2015 年 8 月在 Flash Memory Summit 上与 PMC Sierra 一同推出并演示的。图源：Toshiba, http://toshiba.semicon-storage.com/ap-en/company/news/news-topics/2015/08/memory-20150806-1.html

性能------由于电容降低，可支持更高速度，从而改善信号完整性（Signal Integrity, SI）。一个真实世界的例子是：在 16 die 堆叠封装、走线长度大于 3 英寸的情况下支持高于 533 MT/s 的速度，而这对传统封装来说很难支持。
更低功耗------I/O 电压源（VCCQ）可从 1.8 V 降到 1.2 V，同时 NAND 核心的 VCC 可从 3.3 V 移到 1.8 V。Toshiba 和 PMC-Sierra 在 2015 年 Flash Memory Summit 上展示了 TSV NAND，演示了 NAND 功耗降低 >50 %。TSV NAND 封装的缺点是这项技术带来的额外 die 面积与成本。然而，在更高堆叠的封装中（一个封装内含 4、8 或 16 个 die），其在功耗、信号完整性和性能上的优势使之成为有吸引力的选项。

由于许多 SSD 厂商使用 1、2、4、8、16 die 堆叠封装来打造不同容量的 SSD，这些封装技术的成功引入要求标准封装与基于 TSV 的产品在控制芯片层面保持一致，以便 SSD 制造商可以互换使用接口芯片/TSV 或常规封装的原厂 NAND。

1.4 地平线上的新型存储技术

若从更广阔的视角看待存储领域的挑战，可以说最重要的一项，是比较起 NAND，DRAM 的微缩受限（注意 DRAM 和 NAND 继续主导存储版图，占存储营收的 90 % 以上）。大多数人认为，3D NAND 的所有近期问题最终都会得到解决，或被闪存控制器

适应新 3D NAND 的种种细微之处所吸收。行业专家普遍认为，我们正进入一个 NAND 在 3D 微缩方面方向明确的十年。而 DRAM 微缩的方向就没那么清晰。图 1.16 展示了当前与预期中的 NAND 与 DRAM 微缩之间正在出现的差异。

3D 微缩在更高速度、更高性能的 DRAM 器件技术中更难实现。因此，DRAM 正在考察多种选项，包括放宽规格、用现有 CMOS 技术达到更高单片密度，以及更早引入 DDR5。后者似乎正在成为行业方向。

在使用独立板卡上 DRAM DIMM（Dual In-Line Memory，双列直插内存）的系统中，还有其他方法，比如负载降低 DIMM（Load Reduced DIMM, LR-DIMM），其在架构上类似于 1.3.4 节所述的接口芯片。这里的接口缓冲芯片一侧提供到主机处理器的高速接口，另一侧连接到 DRAM 器件。因此，确实能获得更高的带宽性能，但代价是额外的延迟以及使用 LR 缓冲芯片的成本。不过，DIMM 只解决 DRAM 用法的一部分，还有许多情况（如 SSD）使用 DRAM 器件，因而需要实际的器件 die 本身微缩。

看新型存储材料技术，可以从两个视角来审视它们（图 1.17）。一是行业聚焦于研究 DRAM 替代，机会在于投资那些有望具备非易失性、且要么 (1) 成本/比特低于 DRAM，要么 (2) 性能（读/写/擦除性能以及字节级寻址等特性）显著优于 NAND 的材料。第二个投资领域通常被称为存储级内存（Storage Class Memories，32 Gb 及以上单片密度，性能介于 DRAM 与 NAND 之间）。我们来看看三个主要竞争者。

MRAM（Magnetoresistive Random-Access Memory，磁阻随机存取存储器）。这一直是最有前景的材料技术之一，其读写速度足够接近 DRAM，从而作为 DRAM 替代颇具吸引力。直到最近，MRAM 量产件的密度一直显著低于 DRAM（小于 1 Gb），

$图 1.16$ DRAM 与 NAND 的主流密度之间正在出现显著的微缩差距。有一些基于 TSV 技术的 DRAM 产品，但它们往往属于利基高端产品

$图 1.17$ 按读/写时序比与延迟分类的下一代存储技术。可以看到 MRAM 接近 DRAM，而 PCM 处于一个既能驱动 DRAM 替代、又能用于存储级内存用法的范围

也被用作 ASIC 中的嵌入式 DRAM。这一领域接下来的重要里程碑是 (1) 使用类似 DRAM 的工艺技术节点实现多 Gb 量级的单片密度，以及 (2) 一线存储厂商的参与------他们可以说会带来大规模采用所需的更低成本经济学。

PCRAM（Phase Change RAM，相变存储器）。一些 PCRAM 产品既可以作为 DRAM 替代引入，也可以作为高性能 SSD 产品中的存储级内存引入。这些产品计划在未来几年更广泛地推出，该技术预计具有介于 DRAM 与 3D NAND 之间的成本结构。对于基于 PCRAM 的产品，需要观察的方面有 (1) 存储厂商如何为这项技术定价与定位，(2) 到本十年末将有多少家大型 Tier 1 厂商出售这些方案，以及 (3) 一些领先的企业服务器与存储架构领导者将该技术集成到其系统中的深度。

ReRAM（Resistive RAM，阻变存储器）。业界有许多研究阻变存储器的努力，包括较小的初创公司和较大的厂商，但这项技术对于较大的 Gb 级单片密度大多仍处于测试芯片阶段。量产可能需要数年才能到来。把这种效应用于存储器的吸引力在于：随着基于电荷的技术在计数越来越少的、构成"1"或"0"的电子方面变得更具挑战，随着行业继续感受到降低成本/比特的压力，阻变效应在更长期内可能更具可微缩性。在这一领域，除了监测测试芯片的进展，还应关注 1TnR（n 意为多个）的进展，即多个存储单元只需要一个晶体管，这将

是具备成本效益地微缩到与主流 DRAM 和 NAND 竞争的 Gb 级单片 die 密度所必需的。

还有许多其他相关和不同的技术，都在争相解决行业中的问题或把握行业中的机会。本文作者认为，没有任何单一技术能满足所有需求，长期答案将是新材料技术、封装进步以及系统与架构创新的组合。

1.5 未来五年我们该关注什么？

技术行业变化太快，像这样的分析充其量只是当前状况的一幅不错的快照。因此，随着行业在未来几年向 3D NAND 过渡，需要关注的几个关键标志如下。- 存储厂商格局。问题：未来几年，随着落后者继续被存储或硬盘行业的领导者收购，存储厂商是否会有进一步整合？

3D NAND 领导地位。问题：哪些厂商将在 3D NAND 代次中率先量产爬坡，其他 NAND 厂商会如何回应？
2017 年将有多少产业比特是 3D 的。问题：行业会在 2017 年还是 2018 年过渡到 3D NAND（定义为 50 % 的产业比特为 3D NAND）？何时 50 % 的晶圆将基于 3D NAND？
存储单元技术。问题：到第二代或第三代 3D NAND 产品时，是否会收敛到电荷陷阱或浮栅技术之一？
NAND 单元经济学。问题：QLC（4 bits/cell）何时引入市场，其规格相对今天的 2D TLC 会如何？
企业级 SSD。问题：长期来看，谁将在 PCIe SSD（消费级与企业级）中领先？BYO SSD 模式会在大型云运营商中普及吗？
3D X-point 存储器。问题：几年后 Intel/Micron 的 3D X-point 会被多广泛地接受？Intel 会在其服务器架构中多深入地集成这种存储器的使用？
用于存储器的新材料。问题：长期来看，哪种下一代存储材料会成功？这种成功会是广泛基础性的，还是仅限于利基应用？MRAM 能否具有成本效益地量产多 Gb 产品？