准备考H13-334的华为HCIE-AI证书了，有没有一起考的同学？笔试题目前题库只有200多道题，完整的题库已经发布在"题主"小程序上了，需要的可以去找一下。
这里只能分享一部分题库，完整的可以去题主小程序上找，我已经发到那里了。
MindSpeed针对优化器所占用的内存进行了优化，关于优化器内存优化描述正确的是以下哪些选项？
A、优化器更新权重参数时经常使用FP32的数据类型，该数据类型占用内存较大，因此更新权重时使用FP16代替，这样在保证精度的前提下可以减少内存占用
B、模型在反向传播过程中，计算的梯度可以使用FP16数据类型保存，如果需要进入优化器中计算，再将梯度转化为FP32的数据类型
C、优化器使用FP32数据类型更新完权重参数后，权重的数据类型可以转换为FP16继续参与运算
D、反向传播过程中，梯度由FP16转换为FP32后，该数据需要一直保存，否则在后续计算过程中会造成数据丢失，计算出现错误
答案：ABC
解析：用完立即释放，下次重新申请避免在forward内存峰值时产生内存竞争。
关于智算中心网络中的参数面网络的服务器接入方式，可选择服务器多轨道接入同一个TOR，或者多轨道接入不同的TOR。以下关于两种方式的特点，哪些项是正确的？
A、服务器多轨道接入同一个TOR对网络负载均衡要求相对较低
B、服务器多轨道接入不同TOR的方式故障面更大
C、服务器多轨道接入同一个TOR时,要求服务器在接入侧故障时支持借轨道通信
D、服务器多轨道接入同一个TOR,故障面更小,对网络负载均衡要求更高
答案：BD
解析：在智算中心网络（尤其是用于大模型训练的参数面网络）中，服务器通常配备多块网卡（多轨道）用于高速互联。多轨道接入同一个TOR（Top of Rack Switch）：所有链路汇聚到一个TOR，TOR成为单点故障风险，但故障面（可能受影响的设备范围）相对较小；同时，所有流量集中到一个TOR，容易造成该TOR拥塞，对网络负载均衡能力要求更高（D正确，A错误）。多轨道接入不同TOR：链路分布到多个TOR，提高了带宽和可靠性，但多个TOR都可能成为故障点，因此故障面更大（B正确）。选项C描述"借轨道通信"可能涉及具体的链路故障切换机制，并非两种方式对比下的必然或特有要求，且原题答案未包含C。因此，正确选项为BD。
某数据中心规划咨询阶段，通过RIO模型识别出来市场风险位于第一象限，施工风险位于第四象限。以下哪些项对于风险应对措施的描述是正确的？
A、对施工环节中的风险,制定降低风险概率的方案
B、对市场风险进行整体经济估算,通过测算预备风险准备金
C、对施工环节中的风险,进行进度和经济评估,制定应急替代措施与方案
D、对市场风险进行拆解,分析关键环节,制定合理的商业营销策划方案进行应对
答案：CD
解析：RIO模型（或风险矩阵）通常以风险发生概率和影响程度两个维度划分象限。第一象限通常代表高概率、高影响的风险（市场风险），需要优先采取积极的风险应对策略，如规避、转移、减轻等。选项D"拆解、分析关键环节，制定商业策划方案"属于主动应对措施，符合第一象限风险的应对思路。选项B"预备风险准备金"属于被动接受风险（风险自留），通常不是应对第一象限高风险的首选策略。第四象限通常代表低概率、高影响的风险（施工风险），应制定应急预案，以便在风险发生时能快速响应，减轻影响。选项C"进行进度和经济评估，制定应急替代措施"符合此思路。选项A"制定降低风险概率的方案"更侧重于风险预防（降低概率），通常适用于高概率风险（如第一、二象限），对于低概率的第四象限风险，重点应是减轻影响而非降低概率。因此，正确选项为C和D。
以下位置编码中可以提供相对位置信息的有哪些选项？
A、Alibi
B、RoPE
C、三角函数位置编码
D、BPE
答案：AB
解析：位置编码用于为Transformer模型提供序列中token的顺序信息。相对位置编码关注token之间的相对距离关系。Alibi（Attention with Linear Biases）通过在注意力分数上添加一个与相对位置成比例的偏置项，来编码相对位置信息。RoPE（Rotary Position Embedding，旋转位置编码）通过旋转矩阵对query和key的向量进行变换，使内积结果只依赖于相对位置，从而编码相对位置信息。三角函数位置编码（如原始Transformer中的正弦余弦编码）是一种绝对位置编码，它直接编码每个位置的绝对索引，不显式提供相对位置信息（尽管模型可能从中学习到一些相对关系）。BPE（Byte Pair Encoding）是一种子词切分算法，与位置编码无关。因此，可以提供相对位置信息的是A和B。
与预测练数据相比，微调数据有哪些特点？
A、所需数据质量要求高
B、通常由人工编写或动物建
C、所需数据量较小
D、可直接使用网页数据
答案：ABC
解析：预训练数据通常规模巨大、来源广泛（如网页爬取），质量可能参差不齐，旨在让模型学习通用知识和语言模式。微调数据是针对特定下游任务准备的，其特点是：数据质量要求高（A，需准确、无噪声），通常需要人工标注或高质量生成（B），并且所需的数据量相对预训练来说小得多（C）。选项D"可直接使用网页数据"更符合预训练数据的特点，而非微调数据的典型特征。因此，正确选项为A、B、C。
MindFormers大模型套件有Parallel组件，从框架上可以支持以下哪些并行方式？
A、双副本并行
B、网络并行
C、优化器并行
D、模型并行
答案：ACD
解析：双副本并行、优化器并行、模型并行、数据并行、流水线并行、MOE并行
迁移到异腾服务器上的模型在训练过程中出现loss持续上升的情况，出现该问题后需要排查以下哪些因素？
A、训练数据是否存在个别异常
B、混合精度配置是否合理
C、学习率设置是否合理
D、是否使用大量FP16数据类型,导致部分网络梯度计算不稳定
答案：BCD
解析：loss持续上升（而非正常的波动下降）通常表明训练过程出现了严重问题。在模型迁移到新硬件平台（昇腾）后，可能的原因包括：混合精度配置不当（如loss scale过小导致梯度下溢，或过大导致溢出）（B、D本质上都与混合精度/FP16的数值稳定性相关）；学习率设置过高（C），这是导致loss发散的常见原因。选项A"训练数据存在个别异常"通常会导致loss出现噪声或偶尔的尖峰，但一般不会引起loss的持续系统性上升。因此，需要重点排查的是B、C、D这些与训练稳定性直接相关的配置因素。
常见的基础模型包括：
A、Transformer
B、BERT
C、GPT
D、GLIP
E、GLM
答案：ABCDE
解析：题目中"基础模型"通常指在特定任务或领域进行大规模预训练，并可作为下游任务基础的模型。Transformer是这些模型的核心架构基础。BERT（双向编码器）、GPT（生成式预训练模型）、GLIP（用于视觉语言的基础模型）、GLM（通用语言模型）都是各自领域内具有代表性的基础模型。因此，所有选项均属于常见的基础模型。
与小模型相比，大模型训练对硬件设备提出了更高的要求，具体包括以下哪些选项？
A、大带宽
B、大显存(内存)
C、高算力
D、低功耗
答案：ABC
解析：大模型训练由于参数量巨大、数据量大、计算复杂，对硬件设备的要求主要体现在：需要高算力（C）以执行海量浮点运算；需要大显存/内存（B）来存储模型参数、梯度、优化器状态和中间激活；需要大带宽（A，包括内存带宽和设备间互联带宽）以确保数据高效传输，避免通信成为瓶颈。低功耗（D）通常是硬件设计追求的目标之一，但并非大模型训练相较于小模型"更高"的特定要求，且在大规模训练中，功耗往往因计算和存储需求增加而上升。因此，正确选项是A、B、C。
数据加载是影响模型迁移性能调优的一大因素，以下关于数据加载优化描述正确是哪些选项？
A、数据尽可能存放在NVMe盘上,提高读写速度
B、NLP任务中,可以选取长度近似的样本进行训练,这样可以减少余训练量,不会产生其他影响可以尝试预取数据,减少数据读取时间
C、对于NPU预处理数据比较慢的模型,例如DeepLearning Recommendation Model,可以考虑将预处理放到datasets里用CPU多num_workers
D、处理数据可以尝试预取数据,减少数据读取时间
答案：ACD
解析：选项A：将数据存放在高速存储（如NVMe SSD）上可以显著提高数据读取速度。选项C：对于在NPU上预处理慢的模型，将数据预处理任务放到CPU上，并利用多进程（num_workers）并行处理，可以掩盖数据加载延迟。选项D：数据预取（prefetch）是一种常见优化，在模型训练当前批次时，后台提前加载下一批次的数据，以减少等待时间。选项B：在NLP任务中，将长度近似的样本组织在一起（如动态batching或bucket）确实可以减少padding带来的计算浪费，但"不会产生其他影响"的说法不准确，因为这可能会轻微影响训练数据的随机性（尽管通常影响可接受）。且后半句"可以尝试预取数据"与前半句逻辑连接不清，导致该选项整体表述不严谨。因此，正确描述为A、C、D。
MindFormers套件的目标是构建一个全流程开发套件，提供业内主流的Transformer类预测练模型和SOTA下游任务应用，涵盖丰富的并行特性。以下哪些描述是正确的
A、包含大模型评估
B、包含大模型推理部署
C、包含大模型微调
D、包含大模型数据预处理
答案：ABCD
解析：MindFormers是华为昇腾AI处理器的全流程大模型开发套件，旨在覆盖大模型开发的全生命周期，包括数据预处理（D）、模型预训练、微调（C）、评估（A）、推理部署（B）等各个环节，并支持多种并行策略。因此，所有选项描述均正确。
经过预训练得到的大模型无法直接用于下游任务，可通过下面哪些方法让大模型适配下游任务？
A、特征工程
B、检索增强生成(RAG)
C、微调
D、提示工程
答案：BCD
解析：在实际业务场景中，需要LLM去适配下游任务，如分类、回归、编程等，方法包括提示工程->检索增强->高效微调->全参数微调。
使用以下哪些方法编写Prompt可以让大模型更好的理解并完成任务？
A、Prompt的长度尽可能长
B、Prompt的长度尽可能短
C、寻求结构化的输出
D、使用分隔符清晰地表示输入的不同部分
答案：CD
解析：编写有效的Prompt（提示词）旨在清晰、无歧义地传达用户意图，引导大模型产生期望的输出。选项C"寻求结构化的输出"（如要求模型以JSON、列表、特定格式回复）有助于解析和后续处理。选项D"使用分隔符"（如```、---、<>等）可以清晰划分指令、上下文、问题等不同部分，减少混淆。Prompt的长度并非越短或越长越好（A、B），应根据任务复杂性提供足够且清晰的上下文，避免冗余。因此，正确选项为C和D。
在部署大模型时通常会进行压缩，以下哪些选项属于大模型压缩的原因？
A、模型压缩可以降低专用推理芯片设计难度
B、模型压缩可以降低算力消耗
C、模型压缩可以提高输出准确率
D、模型压缩可以降低内存占用
答案：ABD
解析：模型压缩（如量化、剪枝、知识蒸馏）的主要目的是减少模型对计算和存储资源的需求，以利于部署。具体包括：降低内存占用（D），使模型能在资源受限的设备上运行；降低算力消耗（B），提高推理速度；简化模型结构或数据精度，从而可能降低专用推理芯片的设计复杂度和成本（A）。模型压缩通常会在精度和效率之间进行权衡，可能会轻微损失准确率，而不是提高准确率（C），因此C不是模型压缩的原因。
Open-Sora 作为一个开源项目，以下描述哪些是错误的？
A、Open-Sora 方案将复现成本降低了80%
B、Open-Sora训练时可以直接处理任意分辨率的视频,无需缩放
C、Open-Sora 提供了视频处理到训练推理的全流程解决方案
D、由 openAI 团队开源,旨在为广大用户提供一个高效且用户友好的视频制作方案
答案：AD
解析：Open-Sora是开源社区（如ColossalAI团队等）提出的项目，旨在复现或实现类似Sora的视频生成模型，它不是由OpenAI团队开源的（D错误）。该项目通过高效的架构设计（如时空稀疏注意力）和技术优化来降低训练成本，但"将复现成本降低80%"是一个具体且未经广泛验证的量化数据，表述可能不准确（A错误）。选项B和C描述基本符合Open-Sora项目的目标：探索直接处理可变分辨率视频的方法，并提供从数据处理到训练推理的完整流程。因此，错误的描述是A和D。
LLM 的推理包含以下哪些阶段？
A、Prefill
B、Decoding
C、Encoding
D、Comparing
答案：AB
解析：大语言模型（LLM）的推理（生成）过程通常分为两个主要阶段：Prefill阶段（也称Encoding阶段，但题目中将C单独列出），即并行处理整个输入提示（Prompt），计算其对应的Key和Value缓存（KV Cache）。Decoding阶段，即自回归地逐个生成输出token，每步利用已有的KV Cache和最新生成的token来预测下一个token。在常见术语中，Prefill有时也被称为编码（Encoding），但题目中A和C可能指代相似概念。考虑到选项同时列出了A（Prefill）和C（Encoding），而推理流程通常不包含一个独立的"Comparing"阶段（D），且标准划分是Prefill + Decoding，因此最直接的答案是A和B。有些资料可能将Prefill称为Encoding，但本题答案设为AB，意味着Encoding（C）不被视为一个与Prefill并列的独立推理阶段。
混合精度训练是一种深度学习训练技术，它在训练模型时采用了哪些数据类型？
A、FP32
B、BF16
C、INT8
D、FP16
答案：AD
解析：混合精度训练通常是指在训练过程中同时使用单精度浮点数（FP32）和半精度浮点数（FP16）。FP16用于大部分前向和反向计算以提升速度、减少内存占用；FP32用于维护一个权重的主副本、进行优化器更新以及累积梯度，以保证数值稳定性。BF16（Brain Floating Point 16）是另一种半精度格式，也可用于混合精度训练，但题目选项中的标准组合通常是FP16和FP32。INT8主要用于推理时的量化，不是混合精度训练的典型数据类型。因此，根据常见定义，正确答案为A和D。
在自注意力机制中，以下哪些因素会影响注意力权重系数的计算？
A、序列中元素的相对位置信息
B、多头注意力机制的头部数量
C、encoder block的数量
D、输入序列的长度
答案：ABD
解析：自注意力权重系数是通过Query和Key的点积（经过缩放和Softmax）计算得出的。输入序列的长度（D）直接影响需要计算的注意力权重的数量（平方复杂度）。序列中元素的相对位置信息（A）通常通过位置编码（如相对位置编码）融入Query和Key的计算中，从而影响点积结果。多头注意力机制的头部数量（B）决定了注意力被分割成的子空间数量，每个头独立计算自己的注意力权重，因此头部数量会影响权重计算的并行方式和最终综合表示。Encoder block的数量（C）是模型的深度，它决定了注意力机制被应用的次数（每层一次），但不会直接影响单层内注意力权重系数的具体计算过程。因此，影响注意力权重系数计算的因素是A、B、D。
在注意力机制中，对于Query、Key和Value的计算，以下哪些选项描述是正确的？
A、Query、Key、Value的维度在Multi-Head Attention中可能不同
B、Value的维度可以与Query和Key不同
C、Query和Key的维度必须相同,以便进行点积运算
D、Query、Key和Value通常是由输入数据经过线性变换得到的
答案：BCD
解析：在标准的注意力机制中，Query、Key、Value是通过对输入进行不同的线性变换（D）得到的。为了计算注意力分数（点积），Query和Key的维度必须相同（C）。Value的维度可以与Query和Key不同（B），因为注意力权重与Value相乘后，输出维度由Value的维度决定。在多头注意力（Multi-Head Attention）中，通常会将Query、Key、Value的投影维度均等地分割给每个头，因此每个头上Q、K、V的维度通常是相同的，且不同头之间维度一致。选项A说"维度可能不同"不够准确，因为在标准实现中，经过线性投影后，Q、K、V的总维度（以及每个头的维度）通常是设计为一致的，以确保计算兼容性。因此，正确的描述是B、C、D。
在Transformer自注意力机制中，查询(Query)、键(Key)和值(Value)通过点积分方式计算注意力权重后，以下哪些选项不属于进行缩放(scaling)操作的原因？
A、防止点积结果过大导致Softmax函数进入饱和区
B、增加模型的非线性
C、确保注意力权重的分布更加均匀
D、降低计算复杂度
答案：ABC
解析：在Transformer自注意力机制中，查询(Query)、键(Key)和值(Value)通过点积方式计算注意力权重。缩放(scaling)操作是这一过程中的重要步骤，其主要目的是防止点积结果过大，导致Softmax函数进入饱和区。当Softmax函数输入过大时，其输出会趋近于1或0，这使得梯度变得很小，不利于模型的训练。因此，缩放操作能够确保梯度更好地回传，提高模型训练效果。而其他选项如增加模型的非线性、确保注意力权重的分布更加均匀、降低计算复杂度，并非缩放操作的原因。
某工程师需要计算多个集群训练不同模型所消耗的时间，以下对训练时长计算正确的是哪些选项？
A、MoE架构大模型C参数量为400B,训练时激活参数量为120B,训练数据量为13000B tokens,使用4000张算力为312TFlops的训练卡,训练卡利用率为0.45 ,训练时长约为61.2天
B、大模型A参数量为120B,训练数据量为200B tokens,使用1000张算力为312T Flops的训练卡,训练卡利用率为0.4 ,训练时长约为17.8天
C、大模型B参数量为30B,训练数据量为20B tokens,使用100张算力为156T Flops的训练卡,训练卡利用率为0.35 ,训练时长约为10.2天
D、MoE架构大模型C参数量为300B,训练时激活参数量为120B,训练数据量为13000B tokens,使用300张算力为312T Flops的训练卡,训练卡利用率为0.45 ,训练时长约为34.3天
答案：BC
某工程师需要将PyTorch+GPU训练的大模型迁移到界腾服务器上，在正式迁移前需要完成哪些准备工作？
A、保证选定的模型能在GPU上运行
B、在PyTorch+GPU训练平台上输出大模型的精度和性能 基线
C、NPU驱动固件、CANN软件toolkit、二进制算子包以及PyTorch框架的安装
D、替换界腾不亲和算子
答案：ABCD
解析：在将模型从PyTorch+GPU迁移到昇腾（Ascend）NPU平台前，准备工作包括：确保原始模型在源环境（GPU）上能正确运行并建立性能/精度基准（A、B），作为迁移后的对比依据。同时，需要在目标服务器上安装昇腾软件栈（驱动、固件、CANN、算子包等）和适配的PyTorch框架（C），为迁移提供基础运行环境。此外，识别并替换或适配GPU平台与NPU平台之间不兼容或不亲和的算子（D）是迁移适配的关键技术步骤，也属于迁移前的准备工作。因此，所有选项均属于正式迁移前需要完成的准备工作。