通过猫的眼睛看世界
你有没有想过通过猫的眼睛看世界?不是比喻意义上的,而是字面意义上的:用它的颜色、它的视野、它突出运动的方式。大约十七年前,我写了很多关于建模人类视觉、色彩感知和色盲的文章。有关于视觉建模、根据感知归一化图像和眼动追踪模型的文章。那时一切都围绕着人类:眼睛如何构建图像、颜色通道如何断裂、如何尝试在计算机上建模。
猫是一个方便且有趣的下一步。它的视觉研究充分,与人类视觉差异相当大,但仍可识别。你可以拿一个手机上的普通视频,尝试展示同一场景对猫来说大致是什么样子。
猫的视觉是如何组织的
猫是二色视觉者。它有两种锥体,灵敏度峰值大致在蓝色区域(约450–460 nm)和黄绿色(约550–560 nm)。红色和绿色对它来说不作为独立颜色存在:它们坍缩成一个黄绿色通道。这与我曾经为红色盲和绿色盲建模的内容相当接近,只是这里红绿区分的“丧失”是常态而非缺陷。黄色也明显去饱和。结果猫的世界不是灰色的,但也没有我们那么多彩:蓝色保持蓝色,而我们眼中的红绿色都转向黄灰调。
视野比人类宽。猫的水平视角明显更大——大约200–270°对比我们的180–220°。眼睛分得更开,且不完全在同一平面,因此双眼视野主要在水平方向拉伸。垂直方向优势不那么明显。还有视觉条纹——视网膜中央水平带中敏锐度更高的区域。上下周边明显更差:细节在那里模糊。此外猫在近区相对远视——大约到80厘米一切都比正常调节的人类更柔和。
另外——关于运动。人类有自己的色彩感知心理特点(曾经有一篇关于色彩力量的文章),而猫有自己有趣的感知特点。猫(及其视觉皮层)特别擅长挑选水平移动的物体。不仅仅是“它们看到运动”。速度的水平分量对它们优先级更高。快速水平物体字面意义上从背景中跳出来。背景本身可以保持相对平静。
这一切共同给出了值得尝试建模的相当清晰画面:颜色、扩展的水平视野、垂直周边,以及对水平运动的特殊态度。
颜色模型
当我曾经建模色盲时(关于色盲和建模色彩感知),基本想法很简单:看看锥体的贡献如何变化,并在一个通道减弱或缺失的空间中重新计算颜色。对猫来说逻辑相似,只是从一开始就有两个通道。
在程序中颜色校正首先进行,在任何模糊之前。RGB转换为简化的二色表示:取蓝色通道和黄绿混合物(红绿坍缩),然后降低黄色的饱和度。这不是基于Govardovskii曲线的完整分光光度模型,但原理与旧的红色盲/绿色盲实验相同:我们不“把图画成黄色”,而是像观察者有不同光感受器一样重新计算。结果红色和绿色物体在颜色上彼此更接近,蓝色保持相对独立,整体饱和度下降。
视角与椭圆
猫的扩展视野主要是水平的。当我们看平面图片(视频帧)时,我们没有真正的200度视野。所以这里的椭圆形畸变是将更宽的双眼视野适应到矩形帧的方式。
水平压缩更强,垂直更弱。这不是半径在所有方向相同的球形鱼眼。结果是椭圆:图像在侧面比上下更明显地“挤压”。视觉上这给出了更宽凝视的感觉,尽管我们仍在看普通矩形。在应用中这通过着色器中的单一UV坐标变换完成——没有将多个不同畸变叠加在一起。
运动与注意力
最有趣的部分可能在这里。猫不是简单地“看到运动”。它的视觉系统(以及进一步——大脑)对水平分量反应特别好。为了展示这一点,模型中做了两件事。
首先,当检测到相对于背景的快速水平运动时,播放减速。当帧中没有特别移动的东西时,视频比正常稍快运行(约1.15×)。当出现快速物体时,速度下降(到大约0.85×)。这不是“为了美观的慢动作”,而是试图给观看者猫显然得到的相同感觉:快速水平物体变得更明显,因为它周围的时间某种程度上被拉伸。
其次,物体本身通过锐度突出。背景和较慢的物体被模糊,而水平最快的保持最锐利。模糊是高斯的;其强度取决于帧中最快物体的速度。较慢移动的东西获得中间锐度。运动掩码也不会立即消失:它沿逻辑曲线在大约150毫秒内衰减,因此物体不会突然“关闭”。
检测相对于背景。相机可能转动,背景移动,这个移动首先被估计并补偿。补偿后剩余的被认为是物体运动。正是从这个残差的水平分量构建了减速和锐度掩码。
垂直周边也被稍微更强地模糊(视觉条纹):帧的顶部和底部比中央带更柔和。这比运动效果表达得更弱,但存在。
为什么没有神经网络
曾尝试通过TensorFlow.js进行运动和深度估计。想法看起来很吸引人:取现成的深度或光流模型并获得更准确的地图。实践中两件事变得清楚。给出可接受结果的大型模型对网页来说太重——不便发送给客户端,并且明显减慢处理。仍能塞进去的小型模型在普通手机视频上给出太嘈杂和不稳定的结果。最终保留了经典路径:全局相机移动估计、残差和掩码。它更简单、更可预测,并且不需要加载数百兆字节的权重。
如何组装
一切都在浏览器中、客户端上运行。视频被加载、归一化,然后逐帧进入WebGL着色器。在着色器中颜色首先到来,然后椭圆形畸变、背景和垂直的高斯模糊,以及根据运动掩码的混合。结果被记录并以动态速度播放,原始视频的声音以相同速度运行。
没有魔法。运动是经典计算的:全局相机移动估计、残差、掩码。颜色是简化的通道重新计算。畸变是单一几何变换。但一起这已经给出图片以稍微不同的方式看世界的感觉。
科学参考文献
- Clark D.L., Clark R.A. (2016). Neutral point testing of color vision in the domestic cat. Experimental Eye Research, 153, 23–26. DOI: 10.1016/j.exer.2016.10.002. 行为确认二色性,中性点接近505 nm。
- Daw N.W., Pearlman A.L. (1970). Cat colour vision: evidence for more than one cone process. The Journal of Physiology, 211(1), 125–137. DOI: 10.1113/jphysiol.1970.sp009270. 至少两个锥体过程的电生理证据。
- Loop M.S., Millican C.L., Thomas S.R. (1987). Photopic spectral sensitivity of the cat. The Journal of Physiology, 382, 537–553. DOI: 10.1113/jphysiol.1987.sp016383. 明视条件下的光谱敏感度(峰值约454和561 nm)。
- McIlwain J.T. (1983). Representation of the visual streak in visuotopic maps of the cat’s superior colliculus. Vision Research, 23(5), 507–516. DOI: 10.1016/0042-6989(83)90125-6. 视觉条纹的表征。
- Ringo J., Wolbarsht M.L., Wagner H.G., Crocker R., Amthor F. (1977). Trichromatic vision in the cat. Science, 198(4318), 753–755. DOI: 10.1126/science.910161. 早期提示三色视觉的研究(后来修正为二色视觉)。
视频示例与处理
原始片段以及经猫视觉模型处理后的同一段视频。
作者:ymik