运用这项物理学知识，我找到了提升游戏画面效果的关键所在

作者：Freddy

本文内容首发知乎：https://zhuanlan.zhihu.com/p/646047486

（转载请征得同意，文章仅为作者观点，不代表GWB立场）

频率（frequency），是单位时间内完成周期性变化的次数，是描述周期运动频繁程度的量，常用符号f或ν表示，单位为秒分之一，符号为s-1。频率概念不仅在力学、光学中应用，在量子力学、电磁学与无线电技术中也常使用。

频率的概念无时无刻不在人们的日常生活中。

在广阔的频率空间中，一部分是可以被人类神经直接感知的，另一部分是可以被人类利用后感知的，不同的频率在宇宙中一直存在，并发挥不同的作用。

人们可以通过可见光波的频率来区分物体的颜色，可以通过人类可接收到的音波来感知声音，可以通过无线电波来传输信息。频率甚至影响人类味觉，花椒给人带来麻的感觉是一种名为羟基甲位山椒醇的化合物。这种化合物激活了人体皮肤下的神经纤维 RA1，RA1神经纤维负责帮助人类感知中等区间的震动频率，50赫兹左右的感觉。这是花椒令人产生震颤感的主要原因。

所有的频率都可以通过“傅里叶变换”进行各种不同频段的分解。我们使用这种方法获得我们需要的频率。

使用傅里叶变换分频后，我们就可以进行图像增强、图像去燥、边缘检测、特征提取、压缩、加密等一系列操作。

人眼观察到的所有可编辑图像都是可以通过频率来进行数据分析和修改的。

在计算机图像视觉中，人们把色相或灰度剧烈变化的部分称为高频图像信号，把色相或灰度过度平缓的部分称为低频图像信号。

在图像的构成中以低频信息为主，主要承载了图像的基础灰度或颜色信息（美术可以理解为大关系阶段），对整体光影大关系影响很大，对形体影响很小。中频图像信息对物体结构影响较大（美术可以理解为造型阶段）。高频图像承载了更多的影响物体轮廓边缘以及细节的内容（美术可以理解为细化阶段）。

图像中的所有像素都可以拆分颜色通道，以数据的形式都可以转换为一个数值。这些数值通过计算机来分辨变化程度就可以快速的区分图像中的高中低频信息，并作出相应的操作（比如PS磨皮等）。

通过在Photoshop中进行图像高中低频率分频处理，可以让人像磨皮操作更加方便和精确。

在深度学习中，图像细节越多，高频信息承载量越大，所需要的weight越多，学习难度越大速度越慢。

图像的频率是随分辨率变化不停变化的，高分辨率的高频会在缩小后产生像素合并，变成低频或消失。

下面请观察下面的图像，观察时可以眯眼或走远一些不停的变化距离。

通过上面这个实验，我们可以发现观察尺度的变化以及眯眼时，自动产生了滤波现象，这种现象会对频率的表现产生很大的影响。

物体越小，距离越远观察到的频率越低，也就是人们在看风景的时候会觉得远处物体细节消失的原因。在绘画中，这种省略或简化远景物体的手法被广泛使用。下面举几个水彩画例子：

那么我们再来了解一下什么是滤波。

滤波是将信号中特定波段频率滤除的操作，是抑制和防止干扰的一项重要措施。是根据观察某一随机过程的结果，对另一与之有关的随机过程进行估计的概率理论与方法。
滤波一词起源于通信理论，它是从含有干扰的接收信号中提取有用信号的一种技术。“接收信号”相当于被观测的随机过程，“有用信号”相当于被估计的随机过程。例如用雷达跟踪飞机，测得的飞机位置的数据中，含有测量误差及其他随机干扰，如何利用这些数据尽可能准确地估计出飞机在每一时刻的位置、速度、加速度等，并预测飞机未来的位置，就是一个滤波与预测问题。这类问题在电子技术、航天科学、控制工程及其他科学技术部门中都是大量存在的。历史上最早考虑的是维纳滤波，后来R.E.卡尔曼和R.S.布西于20世纪60年代提出了卡尔曼滤波。现对一般的非线性滤波问题的研究相当活跃。

通过以上描述，我们可以简要理解为对于复杂频率在一定范围内进行过滤，超出这个范围就会被裁切掉。

我们可以通过离散傅里叶变换（DFT）进行整体频率进行分离滤波，然后使用逆变换（IDFT）反向计算到图像中。在计算机图像处理中，我们可以通过卷积核（滤波器）进行卷积的手法来进行滤波操作，获得我们想要的图像范围，然后我们可以对获取到的不同频率进行修改。

回到游戏开发领域，由于我们的用户终端不同，他们所使用的显示设备会横跨投影仪，电视，显示器，手机。

不同的显示设备虽然分辨率在逐渐拉齐，尤其是被用户广泛使用的手机的分辨率越来越高。画面分辨率高到一定程度后，带来的效果就没有高帧率来的实在。

游戏画面中往往具有丰富的内容填充，细节非常多。根据物体透视关系，远景中物体的会混合到一起甚至小于1个像素。光影会变的非常嘈杂且闪烁。

为了避免这个问题游戏开发者往往使用了Mipmap，屏占比剔除，HLOD以及Imposter等形式来对远景进行降噪的同时带来性能上的优化。

性能优化带来的我们可以理解为并不是单纯的画面牺牲，而是有意识的对远景进行概括处理。这里处理好了就会使高中低频率和谐，LOD切换丝滑，整体画面表现非常自然。

mipmap是在引擎层面帮助游戏开发者自动化的进行了这方面的优化。而考究的3D纹理制作方法，会让mipmap的效果更加的美观，这是一个高层次美术人才所应该具备的。

我们举两个正反例子，来对游戏纹理进行分析。

这是虚幻摄影棚中的一张法线贴图：

我们通过观察尺度的不同可以看到不同的画面频率。从整体上来看不同砖块之间的缝隙还是很窄的，这一般会带来非常差的远景效果，使用破损的手法可以把这种效果破开。我们可以看到整体上的缝隙在极力的避免完全横平竖直的效果。

近景我们可以观察到非常丰富的细节纹理，这些纹理是相对低频的。

中景我们可以看到一些频率更高，形状更大的凹凸的过度。

远景会保留高频的剧烈的造型变化。

继续拉远，我们可以观察到细节纹理消失，保留了幅度较大的变化。

继续拉远，基本只显示高频信息

再举一个案例：

拉到近景后，低频细节是有的，虽然很丰富，但非常弱。

中频细节没有

边缘轮廓又细又直

缩小后的mipmap整体非常平均，画面无聊感很强。这种实际上是看似有变化，实则无变化的画面感受。

有一种情况是当光源与物体夹角过于垂直或物体处在阴影中的时候，画面会变得扁平，整体体积感会非常差。

那么我们有几种方法可以试图解决这种情况：

1. 物体在侧光情况下的体积感和质感的表现会非常出效果，很多游戏都会使用打灯的方法来进行材质效果提升。
2. 当物体处于受光面时，通过投射一些阴影进行正负形分割。
3. 当物体处于背光面时，首先需要增加AO效果。
4. 增加Decal或一些其它挂件来打破单调感。
5. 尽量避免使用没有造型的大面积质感物体（大面积围墙，大型）。
6.物体粗糙度，金属度变化增加层次

所有的方法的目的都是致力于在纹理与材质的物体表面维度上破除画面单调感。

另外物体在场景中的排布与物体本身的造型也非常重要（我们排除掉玩法相关的POI或奇观物体，在路径引导与视觉引导之外，涉及到整体大环境或物体本身的设计也是非常重要的）。

这种节奏感与频率的节奏感有异曲同工之妙，它不仅影响物理，也同时影响着音乐、绘画、摄影等各种艺术领域。

节奏（rhythm）

在听觉系统中，不同的频率可以产生不同的声音。人们把这些不同Hz的频率抽象为音阶，通过各种乐器来对这些频率进行有节奏的排布与合成，进而产生让人身心愉悦的好听的音乐。

画面的高低频，通过疏密结合的方式，更多的为整体效果带来了丰富的节奏感和韵律。

绘画的节奏可以有很多个层次，而不仅仅是一个标准的节拍。就像一首复杂的歌曲有许多不同的节奏层次一样。它不仅仅是一个，常规的节拍;有各种各样的音调和声音交织在一起。例如，在您的绘画中，您可以使用主要和规则形状的强烈节拍与使用复杂细节和图案的微妙节拍相结合。

打破单调感

实际上物体的重复感或纹理tiling也可以认为是一种节奏，这种节奏性的循环带来了单调。

在萨金特的油画《渔妇》中，水中的波纹创造了一种强烈的有机节奏。越接近岸边，节奏更强烈。

从形体上来看，这种节奏被渔妇的形状打破了。使用图案和形状创造节奏，并用强有力的陈述打破这种节奏。

鸭子的排列方式也提供了一些不太规则的节拍，起到点缀的作用。

从光影上来看倾斜下来的光源投射出阴影与斑驳的亮点，同样起到了提升画面丰富性的效果。

从儿童时期学美术开始，老师就反复强调对比的重要性，有明有暗，有虚有实，有疏有密，有大有小，等等。

这是使用houdni生成城市建筑的一个比较丑的例子：

要形体变化有形体变化（楼体造型不同又相似），要大小变化有大小变化（楼体大小不同但又接近），要道路倾斜有道路倾斜（有倾斜但没有粗细变化），等等，非常不自然。

这种该有的都有，但又非常丑的，被我称为“随机性的平均”的单调效果，在日常的游戏内容生产中非常常见。

下面举一个相对比较好的houdini城市生成例子：

这种随机的分布我可以清晰的看到Noise频率的分层。大的Noise控制整体地形幅度与楼体高度，中型Noise控制CBD与居民区范围，小型Noise控制细微形状变化。

这些频率的叠加产生了大小，方向，高度，疏密等各种变化，带来了有机的自然的美感。

同理在地形，以及植物生态生成方面，依然保持这种多频混合的有机的形式最为美观。

无论是技术美术使用Houdini等PCG软件反射到引擎中进行自动化插件开发，或引擎程序在引擎中通过算法还原Houdini中的各种nod功能。都只能在功能层面实现各种需求，但无法控制最终效果。技术美术与引擎相比，开发的工具在美术易用性方面要高一个量级，虽然可以制作标杆演示场景，但依然需要依靠美术制作人员控制大量游戏内容具体落地的效果。

理论上说，游戏美术制作人员依靠纯手动摆放物体，也是能够制作出非常好看的效果的。工具是一个抽象重复工作进行自动化的过程，以实现海量美术资产的稳定工业化产出。

同样使用world creator来制作地形高度和纹理的生成，但不同水平的美术制作人员产生的结果差异是非常剧烈的。

树的枝桠，也从树叶，到枝干，到主干，分为不同的频率。同时具有非对称性，但具有平衡性。

那么从整体游戏画面布局来看，无论是空间维度上的物体摆放，物体维度上的造型设计，物体表面维度上的纹理设计，都可以通过频率控制的手法结合美学素养，来解决画面的节奏感，韵律感，噪声消除，以及细节增强。

画面由远及近分别的影响维度是：

1.整体画面构成，光影大关系与色调分部

2.物体大小变化与分部

3.远景物体Hlod或Imposter

4.物体低频模型与纹理

5.物体中频模型与纹理

6.物体高频模型与纹理

7.物体细节纹理与视差

以上是笔者对于纹理方面、造型方面、画面布局方面，关于频率或节奏美学方面一些跨学科结合理解，很多时候这类概念是历史经验积累，以及在美术量产时看到的一些问题，并通过文字的形式表现出来。

欢迎感兴趣的同学一起参与讨论。

Reference:

什么是频率：https://baike.baidu.com/item/%E9%A2%91%E7%8E%87/19505?fr=ge_ala

什么是傅里叶变换：https://baike.baidu.com/item/%E5%82%85%E9%87%8C%E5%8F%B6%E5%8F%98%E6%8D%A2/7119029?fromModule=search-result_lemma-recommend

图像的频率的理解：https://blog.csdn.net/hejunran/article/details/123317942

什么是滤波：https://baike.baidu.com/item/%E6%BB%A4%E6%B3%A2/2938301?fr=ge_ala

图像的高频和低频滤波处理：http://www.xbhp.cn/news/91541.html

Tutorial : Tiling rock texture in zbrush：http://www.xbhp.cn/news/91541.html

Rhythm in drawing and painting - Painting and Artists：https://www.paintingandartists.com/rhythm-in-drawing-and-painting

Rhythm in Art - Master Painting Examples：https://drawpaintacademy.com/rhythm/

Why Do Different Musical Instruments Make Different Sounds?：https://www.scienceabc.com/pure-sciences/different-instruments-make-different-sounds.html