英特尔居然用英伟达显卡,给GTA5做了个画质增强补丁?
没错,画面亿点点接近真实世界的那种:
![英特尔用英伟达显卡 给GTA5打了个超强画质补丁](/img/20210606/2f11f821c1844af98bfa7ca835fd2ee0.gif)
有点意思。
更有意思的是,据英特尔表示,这个补丁在Geforce RTX 3090 GPU上,完成一次画质增强推理,只需要半秒钟的时间。
效果也确实不错,看起来就像是自家行车记录仪拍的:
![英特尔用英伟达显卡 给GTA5打了个超强画质补丁](/img/20210606/fbdd6bdf64254555bd17f2cb3c345876.gif)
就连增强后的草地和沥青路面(右侧),看起来也更真实了:
![英特尔用英伟达显卡 给GTA5打了个超强画质补丁](/img/20210606/fd89ea19a1d14536a6d1d81bcaaf50b2.gif)
简直就像是在洛杉矶(GTA5取景地)实地飙车一样,而且丝毫不拥堵!
网友表示,这简直是个巨大的飞跃,而且研究不是出自英伟达或者AMD,竟然是来自英特尔!
![英特尔用英伟达显卡 给GTA5打了个超强画质补丁](/img/20210606/S9c0f1c5e-a49c-4787-9c30-06af1d5d7b6b.png)
不过,英特尔怎么想起来搞计算机图形学方面的研究了?
毕竟,去年11月份,英特尔正式宣布推出他们的Iris Xe MAX独立显卡,研究已经在进行中了。
这波啊,这波英特尔在大气层。(手动狗头)
所以,这个画质增强补丁,究竟给GTA5的画面“施了什么魔法”?
不用光追,3点改变让图像更真实
通常来说,用GAN就能实现类似的逼真图像,例如将一匹马转换成斑马。
![英特尔用英伟达显卡 给GTA5打了个超强画质补丁](/img/20210606/s_5e0c06f47626451baae426f221d4fda8.gif)
△用GAN生成的斑马
然而,用GAN会产生一个问题。
如果只用图片作为输入,生成的图像虽然逼真,却不可避免地会出现伪影等现象(图中闪烁、斑马身上不时出现棕色浅影)。
通常来说,伪影产生的原因之一,是生成器在将低分辨率图像转换成高分辨率图像时,需要进行反卷积,这容易出现不均匀重叠、产生某些抽象部分,并出现某些色块漂移的情况。
为了解决这一问题,研究人员将图片作为输入的同时,还给它加上了更多的限定信息——
这些信息,是GTA5游戏引擎在渲染场景时,产生的一组中间缓冲区(G-Buffer),里面包含了几何形状、物体材质和光照等物理信息。
![英特尔用英伟达显卡 给GTA5打了个超强画质补丁](/img/20210606/S6e9a46cb-11fc-484d-b494-68d54f47b146.png)
将这些物理信息与图像一起输入模型,就能避免网络在改变图像风格时,连着物理信息也一块改变了。
这样,既能增加图像真实性、又能减缓伪影出现的情况。
![英特尔用英伟达显卡 给GTA5打了个超强画质补丁](/img/20210606/9b0fa678311842718d916d8b3b5ed2ed.gif)
输入指标有了保障,就可以放心开始生成图像了。
整体来看,这个模型分为两部分:用图像增强网络生成图像,并以感知鉴别器和LPIPS指标,来判断生成图像的真实性、相似性。
![英特尔用英伟达显卡 给GTA5打了个超强画质补丁](/img/20210606/Sc2190373-6c2c-4903-8345-e49aad4f381a.png)
首先,来看生成部分。
研究人员发现,要想让GTA5中的图像看起来更真实,有3点特征可以改变:
增加汽车的光泽
改善植被的整体外观
让沥青路面看起来更光滑
为此,图像增强网络(架构基于HRNetV2)本身,采用了KITTI、Cityscapes和Mapillary Vistas三个数据集进行训练,分别学习这些特征。
![英特尔用英伟达显卡 给GTA5打了个超强画质补丁](/img/20210606/S6fe02476-dece-465c-adb6-ef9aea120aab.png)
△图像增强网络
其中,采用KITTI数据集训练网络,以增强GTA5中的汽车光泽(传说中的抛光):
![英特尔用英伟达显卡 给GTA5打了个超强画质补丁](/img/20210606/S1dac4fee-861d-445a-9c53-c15c7afda633.png)
再采用Cityscapes训练,模拟出更接近真实世界的气候情况(这里模拟了德国气候):
![英特尔用英伟达显卡 给GTA5打了个超强画质补丁](/img/20210606/S7dfc6452-26be-4d72-8249-f17368be6577.png)
最后,用Mapillary Vistas数据集进行训练,以模拟出更光滑的沥青路面:
![英特尔用英伟达显卡 给GTA5打了个超强画质补丁](/img/20210606/S617e56a3-8fce-40f4-b0b9-07b50cf32ec2.png)
这样,相比于GTA5中的动画场景,生成的图像车子会反光、植被更丰富、路面也更平坦了,看起来更接近真实世界。
然后,就是鉴别部分了。
这部分包括感知鉴别器、和一个名为LPIPS(Learned Perceptual Image Patch Similarity)的指标,分别评估生成图像的真实性、以及与输入图像之间的相似性。
鉴别器包含分割网络和VGG-16两部分,用来对生成图像和现实场景中的图像进行对比,并给生成图像进行打分,越真实分数越高。
![英特尔用英伟达显卡 给GTA5打了个超强画质补丁](/img/20210606/S72a6e028-9bdf-409d-beed-84761a7d1b12.png)
至于LPIPS,则是一个指标,用来评估生成图像与最初输入的图像之间的“感知相似度”。
与其他模型相比,效果如何?
论文将Intel的模型,与ColorTransfer、SPADE、WCT2、CUT、TSIT等模型进行了对比。
从视频中来看,Intel的模型生成的结果,基本都能保持与GTA5原始图像一致的结构。
但其他模型却暴露了一些不足,其中效果最糟糕的是SPADE,根本无法生成相应的场景布局。
再比如,ColorTransfer无法修改纹理,因此欠缺了一些真实感:
![英特尔用英伟达显卡 给GTA5打了个超强画质补丁](/img/20210606/05b22b68a4664715badf562fa9f2dc8f.gif)
WCT2在很大程度上,要受到参考图像质量的限制,生成效果不稳定:
![英特尔用英伟达显卡 给GTA5打了个超强画质补丁](/img/20210606/dc3708fa29ad45d597af60b3049c2d10.gif)
在TSIT和MUNIT中,模型生成了额外的树木,甚至还有无法去除的伪影:
![英特尔用英伟达显卡 给GTA5打了个超强画质补丁](/img/20210606/5910c873efbd4d89878ead7dfd53ccf3.gif)
比起使用感知损失的其他方法,Cycada使用了更明确的语义信息,效果更好。
但是类似地,在CUT和Cycada中,也出现了车标伪影的情况,CUT中的一些整体场景不堪忍睹:
![英特尔用英伟达显卡 给GTA5打了个超强画质补丁](/img/20210606/1a9abae175af419f85748694e06034a0.gif)
这些树木、车标等伪影,在一定程度上是由于统一采样和较大的图块导致的。
而Intel研究团队以较小的图块进行采样,减少了源数据集和目标数据集之间的不匹配。
从感知效果上来看,这些模型生成的图像,都比GTA要更“真实”。
![英特尔用英伟达显卡 给GTA5打了个超强画质补丁](/img/20210606/Sed6ae8bf-e61b-471a-9bef-ee89109c5f95.png)
从各项指标来看,Intel的模型综合表现也是最优的(数值越低,效果越好)。
![英特尔用英伟达显卡 给GTA5打了个超强画质补丁](/img/20210606/S3dde9c46-886e-4bd8-90e7-b501be898895.png)
不过,新模型也有不太完美的地方,进行增强后的路人效果还是一般,看起来不太真实。
![英特尔用英伟达显卡 给GTA5打了个超强画质补丁](/img/20210606/49c4f962-e409-46f6-8ae0-5e148885f08f.jpg)
当然,这也和采用的训练数据集有关,Intel模型所用的数据集,并不过多地涉及行人,主要还是用于增强天空、沥青路、汽车光泽等真实感。
网友:比路径追踪便宜多了!
对于这次模型展现的效果,网友们的评价也是褒贬不一。
有网友迫不及待地想要用上了:搞起!
![英特尔用英伟达显卡 给GTA5打了个超强画质补丁](/img/20210606/Sc691423c-cc5f-44f6-b59b-e92c7fa00e82.png)
还有网友表示,这将是未来GTA-5这类游戏的发展方向——更接近真实世界。
![英特尔用英伟达显卡 给GTA5打了个超强画质补丁](/img/20210606/Sa8f3c62d-aebc-490c-b7e9-4b726bb757c9.png)
而且,这项技术相比于路径追踪,不知道要便宜多少。
最重要的是,技术所用的神经网络,还修复了物体上那些不真实的纹理。
![英特尔用英伟达显卡 给GTA5打了个超强画质补丁](/img/20210606/S0081d236-c1d7-4966-aff7-df852d612c60.png)
当然,也有网友调侃:
视频是用便宜的行车记录仪来拍的?(这个视频只有720p)
![英特尔用英伟达显卡 给GTA5打了个超强画质补丁](/img/20210606/S8e1101e9-2303-4c57-a1f7-7fbe7ae6794b.png)
嗯,所以这就是《黑客帝国》色调呈绿色的原因。
![英特尔用英伟达显卡 给GTA5打了个超强画质补丁](/img/20210606/S2a1e9155-cfad-4da6-9171-3af6038305dd.png)
还有一些网友不太喜欢这种类型的“写实风”:
这,这只是把加州变成‘德国风’吧?
![英特尔用英伟达显卡 给GTA5打了个超强画质补丁](/img/20210606/Saf11dee1-7f62-4893-b58d-ea8786fc7afc.png)
这不是又回到GTA 4了?
![英特尔用英伟达显卡 给GTA5打了个超强画质补丁](/img/20210606/S7283a0de-44ce-474d-b5dc-dd004021f640.png)
![英特尔用英伟达显卡 给GTA5打了个超强画质补丁](/img/20210606/708981994b2e4dc4aa404a37733851e9.gif)
△GTA 4宣传片段
这些网友认为,GTA 5不该追求写实主义,更需要的是具有美感和娱乐性。
游戏开发者并不是没有能力,显然,他们是刻意选择了风格化和超现实主义,因为它看上去比真实的东西更具吸引力。
![英特尔用英伟达显卡 给GTA5打了个超强画质补丁](/img/20210606/S293ee5c7-2e33-41e5-8fbd-265fe00de0c0.png)
对此,有网友解释说,研究人员和游戏开发者的出发点不同。
这是一个巨大的飞跃!
纹理和光照是CGI中两个非常棘手的问题,使用光线追踪呈现逼真的光泽,需要计算大量表面之间的光线反射。
![英特尔用英伟达显卡 给GTA5打了个超强画质补丁](/img/20210606/Sdf402868-582e-48ce-88f9-efc4b76324c4.png)
应用ML可以巧妙地跳过最困难的部分。这项技术可以用来制作游戏、电影或电视剧。
![英特尔用英伟达显卡 给GTA5打了个超强画质补丁](/img/20210606/S28662dfa-83ec-4507-af61-9c227a99108a.png)
你希望游戏用上这样的图像增强引擎吗?
|