文章目录
- [一，粒子基础Particle System](#一，粒子基础Particle System)
- 二，粒子渲染
- 三，GPU粒子及生命周期控制
- 四，粒子应用
- 五，声音基础
-
- [5.1 Sound System](#5.1 Sound System)
- [5.2 Digital Sound](#5.2 Digital Sound)
- [5.3 Audio Rendering](#5.3 Audio Rendering)
- QA
一，粒子基础Particle System
网游里你的付费大部分是为了粒子效果付费hhhh
-
粒子是拥有位置、速度、大小、颜色和生命周期的3d模型。
-
粒子的生命周期：从发射源(Source)->产生(Spawn)->环境交互->死亡。
-
粒子发射器（Emitter）控制了粒子的产生Spawn规则、模拟逻辑和渲染
-
一个粒子系统可能有不止一种发射器，比如火焰效果中有火焰（Flame）、火星（Spark）和烟雾（Smoke）三种发射器；而如何用简单系统的组合展现复杂效果是艺术家的主要工作
-
在粒子Spawn环节，Emitter可以有单点Spawn（向四周喷射）、区域Spawn（范围内随机）和mesh Spawn（比如在运动人物上的特效）三类；在发射上也有频率、速度、方向等不同表现
-
粒子的模拟
- 不需要严格的物理模拟，使用显示欧拉法计算即可
- 除了重力还可以加上粒子的旋转、颜色的变化、大小的变化
- 粒子需要与环境进行碰撞
-
粒子常见形态：
- Billboard Particle，即广告牌。由始终面向摄像头的面片构成，用纹理动画完成，因为形状一直在变化，所以看起来有3d的感觉。
- Mesh Particle，就是同一个3d mesh用各种随机值去控制Transform的9个值，使其看上去像是不同的mesh
- Ribbon Particle，样条形粒子，用于光带。通过样条控制点获得完整曲线，一般使用Catmull-Rom曲线插值（方便插值且插值点过控制点）。
二，粒子渲染
粒子渲染由于其特性涉及到大量的透明度排序问题
-
粒子排序有两种方式：
- 全局排序，所有emitter的所有粒子都一起排序，结果正确但消耗巨大；（初学者写起来麻烦并且后期会涉及很多GPU算法，建议先写2）
- 按层级，比如per system->per emitter->per particle，但是结果会出现错位并且会有闪现的问题
同时，粒子系统在半透明渲染的过程中，效率与屏幕分辨率强相关，overdraw情况很多。那么怎么办呢？：
-
一般使用下采样将分辨率降低后再进行粒子的渲染，获得粒子的颜色和透明度alpha，然后再上采样融合到原场景中。（一般粒子模模糊糊的反正也不影响）（并且这个思路在现代引擎中越来越流行--DLSS）
三，GPU粒子及生命周期控制
从上面两节可以看到，粒子系统不管是模拟还是渲染后很耗性能，那能不能放到放到GPU里去加速计算呢？可以哒，从产生到模拟到排序都可以放入GPU，并且读取Zbuffer还更快呢！
但有个难点是如何在GPU中控制粒子的生命周期 。
- Intial State
先建立一个粒子池，设计一个数据结构，描述所有粒子的位置、颜色、速度、尺寸等描述信息。再有两个list，一个是Dead List，记录当前死亡的粒子，初始时包含所有粒子序号，还有一个是Alive list，记录当前活着的粒子，初始时为空。如下图，这时比如emitter发射了5个粒子，则从池子结尾按顺序取5个粒子放入Alive list，同时把dead list的后5个序号清空。
-
Simulate
接下来对Alive list中的每个粒子进行Simulation，来判断下一帧的状态，并建立下一帧的Alive list1。如果粒子在下一帧就死了，那就把其序号移入Dead List，活的保留，这样就得到了下一帧需要渲染的粒子列表（这种操作本来在gpu中的batcher中不容易实现，但computeshader使原子级操作变得可实现）。再此基础上还可以再利用GPU进行frustum culling视角剔除，建立剔除后的可见粒子列表Alive list After Culling，并计算它们的距离，写入Distance buffer。
-
Sort, Render and Swap Alive Lists
接下来还要进行排序、渲染和交换Alive list：
- 根据上边保存的Distance buffer对Alive list After Culling排序。
- 根据排序渲染。
- 更新交换Alive list0、Alive list1等。
-
那GPU上那种排序算法更好呢？
Parallel Mergesort。GPU的并行很适合归并排序，复杂度为nlogn，并且合并的时候应该用类似双指针的方法直接去从合并后的list索引去填充，这样可以避免gpu线程在遍历中跳来跳去影响效率
-
Depth Buffer Collision利用深度缓冲碰撞检测
如果真是物理碰撞太慢了，所以粒子系统一般用Depth Buffer在屏幕空间进行碰撞
四，粒子应用
-
Crowd Simulation
直接利用粒子来模拟人群等，此时也可以使用动画，把简化版骨骼动画记录到纹理即可；这时候就可以用不同动画动作代表的状态代替粒子本来的速度等状态，相当于状态机的操作，这时切换动作就等于切换状态机；我们把这个particle的各种状态和对应的速度等属性的情况设置成一张纹理图。当particle的属性变化时就从纹理图中找到对应的状态不断切换。
-
Navigation Texture
那更进一步，所有粒子如何随着设定路径又随机移动呢？可以利用SDF来制作一个导航纹理图，其实就是给开进建筑的粒子一个反向力，再搭配一些噪声，使得给设定目的地和初始速度后，粒子可以按照设定路线又随机行走。
以前的粒子系统的行为都是预设好的，现代引擎中的粒子都有自己的变化、模拟、扰动等，需要读取、定义；目前做的比较好的事UE的Niagara粒子系统，有一百多万行代码。
五，声音基础
音效是好游戏必不可少的内容，涉及岗位有Sound Engineer、Sound Designer，甚至是部分恐怖游戏真正的灵魂
5.1 Sound System
- Volume音量
分贝0大概是3米远能听到的最小声音，对应的声压p0，那么分贝、声压与这个p0的关系是 L = 20 l o g 10 ( p p 0 ) d B L = 20log_{10}(\frac{p}{p0})dB L=20log10(p0p)dB，即每增加20分贝，声压增大10倍 - Pitch尖锐度（音高）
决定了声音的刺耳程度 - Timbre音色
同一个音调用不同乐器演奏的区别 - Phase and Noise Cancelling降噪
原理是用相同频率、强度但反向相位的波去中和掉噪音 - Human Hearing Characteristic听觉的人体感受
人虽然听不到超出听力频率的声音，但还是能感知到的，因此有些电影可能会用这类技术渲染氛围（敦刻尔克？）
5.2 Digital Sound
介绍了一些技术名词，简单记下
- Pulse-code Modulation(PCM)脉冲代码调制器：采样处理
- Quantizing量化：存储
- Audio Format，早期MIDI，游戏中一般用OGG（无损太大，map3专利太强且环绕音支持差）
5.3 Audio Rendering
如何在三维空间构建好声场？
三维空间中有很多声源，受位置、距离等因素影响，在游戏制作时需要一个"Listenner"来模拟收音，有位置速度（需要模拟多普勒效应，尤其是有飞机的游戏）朝向的维度，如果是第三人称游戏，一般在人物和相机中间。
- Spatialization空间感：位移、Panning左右耳时间差、音色差。这里具体讲了Panning的算法，有需要在看课程吧
- Attenuation声音衰弱：随距离衰弱，但高频低频衰弱程度不同，在吃鸡游戏里有很好的体现；对于小溪等情况可以用胶囊体等去模拟计算距离
- Obstruction and Occlusion障碍物：只是遮挡的话可以用类似rayCast的方式去判断能否听到
- Reverb混响：有三个部分组成，干音（dry）、回音、尾音（统称wet）；不同材质对不同声音吸收不同；有混音声音才好听，为此有一系列标准
- 多普勒效应：快速移动产生的声场，在游戏中对打击感很重要
- 常见声音中间件：FMod（设计师友好）、Wwise（不怎么维护了）
QA
- cpu上的粒子系统是不是适合用ecs做：是，用简单的功能加速即可
- 粒子系统可以跟动画和物理系统结合吗：可以，现在很多游戏都有环境互动和真实物理计算，影视行业的结合就更多了，未来会有更多结合应用
- crowd中的sdf是预计算的吗：以前是预计算，现在全局光照经常需要计算实时sdf，因此也可以实时计算了
- 游戏中音效数据怎么组织的：艺术家会放入很多音效点，跟探针差不多，根据位置、规则去调用。加载时以关卡等为单位，节省空间