互联网的世界里，马赛克从不缺席。而对于马赛克，小黑是又爱又恨。
恨它是因为别人用马赛克隐藏关键信息，电影里看到马赛克，直教人索然无味；图片中看到马赛克，不禁对马赛克隐藏的信息深感好奇。
爱它是因为小黑自己用起来又极为顺心，平时在微博、朋友圈、论坛等互联网平台发布照片或隐私信息的时候，常常使用马赛克将重要信息模糊掉；工作中需要截图保存时，使用马赛克工具可以让用户名、地址、密码等信息打码，免得被小伙伴们发现。
一张图，在被打了马赛克那一刻起，它就变成另外一张图，基本无法恢复成原来的模样。不过，万能的网友发现，如果使用 AI 工具，可以让打了马赛克的图片重新恢复原样。在一些爱好者论坛，还有人总结了去马赛克工具，比如 PULSE 算法、Depix项目以及谷歌超强像素递归方案。
马赛克起源与原理
马赛克一词，英文名为“Mosaic”，指镶嵌艺术。现在视频、图片中常用的马赛克技术，正是用了与镶嵌艺术类似原理的影像处理方法。
从词源上解释，英文“Mosaic”源自希腊文“Musa”，这是掌管诗歌、艺术与科学女神的名字。在数千年以前，古希腊艺术家就在使用黑白两色鹅卵石，组合搭配镶嵌在柱子上。在发展过程中，马赛克图案材料有石块、有色玻璃碎片等等，但是它的主要结构依然是一个个大小相似的碎块。
▲ 有色玻璃碎片
后来，人们在进行影像处理时，常常将特定区域的色阶细节劣化并造成色块打乱的效果，打乱后的图案类似马赛克镶嵌艺术，因而人们索性将这种影像处理技术称之为马赛克技术。
从原理上来说，图像打码其实也是图像卷积操作中，空间域滤波的一种方式。用一定大小的滤波器对马赛克范围内像素进行操作，期间将需要打码范围按照滤波器大小划分为多个区块，取滤波器范围内像素，求取均值，再将均值赋值给范围内每一个像素，滤波器再滑到下一个区块。
▲ 打码其实是像素重组
当然，核心原理枯燥泛味，大部分人也不关心什么是卷积操作。通俗地说，就是将马赛克区域图案细分为无数个小方块，再将这些方块打乱重组，这样原本的图案就会变得模糊不清。
了解完马赛克的原理，去除马赛克的原理自然浮现在眼前。目前，去马赛克技术大都通过 AI 技术，通过不同的方法，将已经打乱的像素方块重新组合，还原它本来的样子。
猜一猜马赛克背后的图案
前文说过，图片打码过程是不可逆的，想要恢复到原来的模样就要另想办法。围绕去除马赛克这一课题，研究人员们创建了无数算法，其中有一种算法非常特殊，它就是杜克大学研发的PULSE算法。
之所以说 PULSE 算法特殊，倒不是因为他们使用了什么先进的算法，而是在于他们的思路。与之前的算法类似，同样采用 SR 超分辨率技术，但它不是填补像素，是生成高清大图，然后降低图片分辨率与原始图片对比，从中找到匹配程度最高的图像。PULSE 算法可以在短短几秒内就把16×16像素的低分辨率图片提升到1024×1024级别，精度提升了64倍，而之前的AI算法提升不过8倍左右。
先放大再对比猜测，PULSE 算法可以将模糊的照片秒变清晰，效果还出奇地好。不过，靠猜测得到的图案毕竟不是原图，在还原过程往往得到清晰但跟原图大相径庭的图案。比如，我们将奥巴马的图像打码，再通过PULSE 算法还原，得到的居然是一张白人面孔。
▲ 奥巴马还原后成白人
对此，PULSE 算法创始人解释道：“结果的偏差，原因在于数据的偏差。为什么PULSE会出现奥巴马被洗白的情况？因为它是在FlickFaceHQ上进行预训练，这个数据集里基本都是白人照片。如果换成来自塞内加尔的数据集，训练完全相同的系统，那必然是每个人都看起来像非洲人。”
然而，这样的解释似乎有点无力，我们将马里奥的图像先打码再还原，得到的图案看不到一点马里奥的影子。原版打码之后的图像还能看出一点马里奥的影子，而还原后的照片虽然鼻子与面部表情稍微清晰一点，可整体形象完全与马里奥无关。
拼图游戏，像素块重新组合
小时候，很多小伙伴都玩过拼图游戏，将一个完整的图案打乱，然后一点一点找规律，将其拼成完整的图案。继PULSE 算法之后，有一款名为Depix 的算法火爆网络。Depix 去除马赛克的原理其实与我们小时候玩的拼图游戏类似，都是将图案的一部分一点点拼起来，组成完整的图案。
只不过，与拼图游戏相比，去除马赛克难度提升了无数倍。首先像素方块更多，拼接难度异常之大。其次没有规律，拼图游戏可以遵循一定的规律，有些还有原始图案可供参考，而去除马赛克没有任何规律可言，完全靠算法不断积累，寻找合适的方法还原图案。
▲ 细小像素块分析
Depix 具体实现方式与PULSE 不同，它利用了线性盒式滤波器分别处理每个块的事实。对于每个像素方块，它将搜索图像区域进行像素化从而对应匹配。这一过程，就跟我们拼图时找图案隔壁的拼块一样。
▲ 简单字母还原
对于大多数像素化图块，Depix 设法找到单匹配结果，然后将周围的多匹配块的匹配进行比较，以在几何上与像素化图像中的距离相同的距离进行比较。此后反复测试，直到像素块不再与其他像素块具有集合匹配结果之后，算法将直接输出所有正确的像素块。
▲ 仅限于文字内容
比起 PULSE 主要靠猜，Depix 在原有像素块基础上重新排列组合，得到的图案真实性确实有了很大改善。不过，目前仅限于线性滤波器，即文字内容，人脸图案等复杂内容暂时还无法还原。
实用性不足，一键去马赛克成空谈
从早期的 JavPlayer、谷歌大脑去马赛克，到如今的 PULSE、Depix算法去马赛克，其实还面临一个严峻的问题，即实用性不足。不少在实验室里惊艳无比的去马赛克技术，在实际体验中一塌糊涂。
▲ 谷歌大脑去马赛克
究其原因，在于这些算法都有严格的条件限制。去马赛克的技术就那么几种，而世间的图像千千万万。PULSE 先放大再猜测补充像素点，其精准程度取决于算法优化的好坏以及深度学习内容库的全面性。
小黑在使用 PULSE 算法的网站 Face Depixelizer Eng 测试，一张简单emoji表情居然被还原成一个络腮胡大汉。由此可见， PULSE 算法依靠猜测填充像素点的方式并不准确，一旦深度学习库没有收录该类图案，得到的结果往往与原图截然相反
Depix 像素重组，还原精准度取决于算法能够成功找到合适的像素块，目前来看，Depix 不会出现严重的识别错误，不过重组像素块计算量过大，简单的图案 Depix 尚能胜任，对于复杂的图案完全无能为力。
至于 Depix 实用网站与软件，小黑并没有找到，搜索引擎与应用商店里的搜索结果全部都是虚假内容，没有一款可以使用。
▲ 虚假APP
人工智能技术日新月异，将马赛克图案重新还原确实让人惊叹不已。不过人工智能毕竟还是基于科学的算法技术，它不是无所不能的魔法，做不到完整还原。
目前来看，现有的马赛克还原技术做不到将面部表情等细节完整还原，顶多可以做到将数字、字母等文字内容还原。因此，我们平时在给关键信息打码的时候一定要注意，先涂鸦再打码，这样就不用担心被去马赛克工具还原了！
