GAMES101 学习 2

Lecture 7：Shading 1(lllumination,Shading and Graphics Pipeline)

Visibility / occlusion 解决可见性和遮挡的问题

可见性，Z-buffering

Z-Buffer 深度缓存

Idea：

Store current min. z-value for each sample (pixel)
Needs an additional buffer for depth values
-- frame buffer stores color values
-- depth buffer (z-buffer)store depth

利用深度缓存的想法维护遮挡信息，维护深度缓存算法即可，与顺序无关

更新示例

--对于MSAA来说，深度缓存应该针对的是采样点而不是像素点

shading：着色

引入明暗的不同，引入颜色的不同

给物体施加材质的过程。包括光照和texture。

Blinn-Phong Reflectance Model

specular高光 ：与观察方向有关镜面反射相关
diffuse漫反射 ：与观察方向无关，光线打过来，均匀地反射到四面八方。比如墙面
ambient环境光：间接光照，可以设置为常数

着色具有局部性，比如下面这张图，它只考虑了光照和自己，不考虑其他物体的存在，没有阴影

漫反射 Diffuse Reflection

光线考虑衰减，I/r^2，实际衰减的是irradiance（单位面积的光的power）

max的作用，如果点乘是负数的话没有物理意义，所以直接记为0

物体有颜色是因为会吸收一部分颜色光，然后反射不吸收的颜色光。

考虑每一点有不同的吸收率就是图中的系数 kd （表示成三通道的rgb）

不管从哪里观测，看到的应该都一样，因为漫反射是均匀的射向四面八方

Lecture 8: Shading 2 (Shading ,Pipeline and Texture Mapping)

高光 Specular Term（Blinn-Phong）

简化了吸收的计算--Blinn-Phong 还是一个经验模型

指数p的作用是为了更合理的模拟

常用的p是 150 ~ 200

环境光 Ambient Term

常数

着色频率

对面shading（flat）
对vertex做shading（gouraud）
对像素做shading（phong shading）

顶点求法线 -- 与这个顶点有关系的所有三角形的发现求平均，也可以加权平均（三角形大小不一样）

Graphics （Real - time Rendering） Pipeline 实时渲染管线

如何从场景到一张图，经历的过程就是管线

图形渲染管线

三维空间顶点经过mvp矩阵变换，变成屏幕空间的顶点。
屏幕空间的顶点，经过三角形处理，组成三角形。
三角形经过光栅化，变成fragment（片元）。
fragment经过shading，计算光照、纹理映射（比如采用布林冯模型、微表面模型，就在此处进行相应的计算），变成fragment。
带材质的fragment经过framebuffer（比如深度处理），变成屏幕上的图像。

*具体过程是，先进行mv矩阵变换，然后对顶点进行着色（包括法向量、纹理坐标、颜色等），之后投影矩阵变换，得到一个标准化立方体（正交投影得到标准立方体好理解，但其实透视投影得到的也是标准立方体，经过压缩之后的），之后经过视锥剔除这一步操作，避免不必要的时间消耗，此时得到的还是标准化立方体，顶点的坐标还是三维的，然后经过视口变换，得到对应屏幕大小的二维图像，此时的顶点包括所有需要的信息（包括法向量、纹理坐标、颜色等）。然后进入光栅化阶段，先进行三角形处理，对顶点与顶点之间做插值，然后做光栅化，对应到像素，然后做shadding（包括纹理映射），对像素着色，之后做可视化处理、alpha测试、模板测试等，上屏到显示设备

GPU -- 高度并行化的处理器

纹理映射

好丑

Lecture 9: Shading 3 ( Texture Mapping Cont )

*重心坐标(Barycentric Coordinates)，用来做插值

为什么在三角形内部进行插值

我们做的很多操作是在三角形顶点上完成的
希望在三角形内部得到一个平滑的过度

插值什么内容？

Texture coordinates , colors, normal vectors , ....

重心坐标

A点的重心坐标

三维空间中的点还是应该在三维空间中做插值，然后再对应到二维中

简单的使用纹理映射会造成什么问题？

问题：

如果纹理太小怎么半？

纹理太小的话纹理就会被拉大

右边的叫做双向三次插值

先竖直再水平也可以的

如果纹理太大是什么问题？

引起了走样

texture magnification

如果纹理太小怎么办 ？纹理上一个texel被图像上多个pixel包含，texel不够用。

方法：用插值的方法补texel！近邻、双线性、双次立方。
如果纹理过大怎么办 ？图像一个pixel包含多个texel（摩尔纹）。

方法：mipmap 。（Allowing （fast，approx.，square）快速的，近似的，正方形的)mipmap的好处，额外的内存开销小，只有原来的三分之一；缺点，只能对正方形区域查询，有的pixel包括的texel是斜着的一条区域，mipmap仍然不能表现该区域的属性。

改良：ripmap，各向异性过滤，开销是原来的三倍。

多了三分之一的存储量

D 是查询的 Mipmap的层数M

层次分明

如果我想查找1.8层的怎么办？ -- 插值

两个平面，三线性插值

连续变化

超采样 mipmap 远处的细节全部糊成一片 Overblur

各向异性过滤 Ripmap 不同的方向上表现不同

Lecture 10 ： Geomerty 1 （Introduction ）几何

可以用纹理描述环境光，可以用环境光渲染物体

假设环境光来自无限远处，所以假定不同方向的光的强度相同

环境光可以记录在球面上，然后再展开，但是会存在扭曲不是均匀的描述

Cube Map

凹凸贴图

在不把几何形体变复杂的前提下，通过利用一个复杂的纹理来定义一个点的相对高度

Bump Mapping 法线贴图

Adding surface detail without adding more triangles

扰动每一个像素的法线

黄色的线是凹凸贴图

求法线 2D

求法线 3D

着色的结果乘以计算好的环境光遮蔽得到一个纹理之后可以直接用

可以用纹理存储计算好的信息

材质的应用

环境贴图、环境光（包括很多游戏大作的画面非常好，有些就是提前计算好光照，做成光照贴图）、

*环境贴图可以是球面或立方体面

纹理不只可以表示颜色，也可以表示高度/法向量（bump/normal），只是影响了shading计算，没有真正地改变顶点的位置。用displacement mapping，可以实际上改变顶点的位置。（bump/normal这一步，纹理影响shading，作用于fragment，在fragment做shading的阶段进行处理；而如果是displacement，应该是顶点处理阶段进行。看来，着色频率的选取跟纹理贴图的应用有实际的对应关系。）

三维噪声函数定义纹理，在任意点都能取得相应的值。（参考隐式的几何表达。）