Zveriki Zveriki
고양이 시각 모델

고양이 시각 모델

동영상을 업로드하세요. 처리는 WebGL 셰이더를 사용해 클라이언트에서 실행됩니다.

준비 중...

고양이 눈으로 세상 보기

고양이의 눈으로 세상을 보고 싶었던 적이 있나요? 은유적으로가 아니라 말 그대로: 색상, 시야, 움직임을 강조하는 방식으로. 약 17년 전에 나는 인간 시각, 색 지각, 색맹 모델링에 대해 꽤 많이 썼습니다. 시각 모델링, 지각에 맞춘 이미지 정규화, 시선 추적 모델에 대한 글이 있었습니다. 그때는 모두 인간에 관한 것이었습니다: 눈이 어떻게 이미지를 만드는지, 색 채널이 어떻게 깨지는지, 컴퓨터로 어떻게 모델링할 수 있는지.

고양이는 편리하고 흥미로운 다음 단계입니다. 시각이 잘 연구되어 있고, 인간 시각과 상당히 다르지만 여전히 알아볼 수 있습니다. 휴대폰에서 일반 비디오를 가져와 같은 장면이 고양이에게 어떻게 보일지 대략 보여줄 수 있습니다.

고양이 시각이 어떻게 구성되어 있는지

고양이는 이색체입니다. 두 종류의 원뿔 세포를 가지고 있으며 감도 피크는 대략 파란색 영역(약 450–460 nm)과 노란-녹색(약 550–560 nm)에 있습니다. 빨간색과 녹색은 별개의 색으로 존재하지 않습니다: 하나의 노란-녹색 채널로 붕괴됩니다. 이것은 내가 예전에 프로타노피아와 듀테라노피아를 모델링했던 것과 꽤 비슷합니다. 다만 여기서 빨강-초록 구분의 "상실"은 결함이 아니라 정상입니다. 노란색도 눈에 띄게 채도가 낮아집니다. 결과적으로 고양이의 세상은 회색이 아니지만 우리만큼 다채롭지도 않습니다: 파란색은 파란색으로 남고, 우리에게 빨강-초록인 모든 것은 노란-회색 톤으로 이동합니다.

시야는 인간보다 넓습니다. 고양이의 수평 시야각은 눈에 띄게 더 큽니다 — 대략 200–270° 대 우리의 180–220°. 눈은 더 멀리 떨어져 있고 정확히 같은 평면에 있지 않아 양안 시야는 주로 수평으로 늘어납니다. 수직으로는 이점이 덜 두드러집니다. 시각 줄무늬(visual streak)도 있습니다 — 망막의 중앙 수평 띠에 있는 높은 시력 영역입니다. 위와 아래 주변은 눈에 띄게 더 나쁩니다: 세부 사항이 흐려집니다. 또한 고양이는 근거리에서 상대적으로 원시입니다 — 약 80 cm까지 모든 것이 정상적인 조절을 가진 인간보다 더 부드럽습니다.

그리고 별도로 — 움직임에 대해. 인간은 색 지각에 대한 자신의 심리적 특성을 가지고 있습니다(한 때 색의 힘에 대한 글이 있었습니다), 반면 고양이는 지각에 대한 자신의 흥미로운 특성을 가지고 있습니다. 고양이(그리고 그들의 시각 피질)는 수평으로 움직이는 물체를 특히 잘 포착합니다. 단순히 "움직임을 본다"는 것이 아닙니다. 속도의 수평 성분이 그들에게 더 높은 우선순위입니다. 빠른 수평 물체는 문자 그대로 배경에서 튀어나옵니다. 배경 자체는 상대적으로 차분하게 남을 수 있습니다.

이 모든 것이 함께 모델링할 가치가 있는 것에 대한 꽤 명확한 그림을 줍니다: 색상, 확장된 수평 시야, 수직 주변, 그리고 수평 움직임에 대한 특별한 태도.

색상 모델

내가 예전에 색맹을 모델링했을 때(색맹과 색 지각 모델링에 대해, 색맹인 사람들이 세상을 어떻게 보는지), 기본 아이디어는 간단했습니다: 원뿔 세포의 기여가 어떻게 변하는지 보고 한 채널이 약화되거나 없는 공간에서 색을 다시 계산하는 것입니다. 고양이의 경우 논리는 비슷하지만 처음부터 두 채널이 있습니다.

프로그램에서 색 보정은 어떤 흐림보다 먼저 수행됩니다. RGB는 단순화된 이색 표현으로 변환됩니다: 파란색 채널과 노란-녹색 혼합물이 취해지고(빨강과 초록이 붕괴), 그 후 노란색의 채도가 감소합니다. 이것은 Govardovskii 곡선에 기반한 완전한 분광광도 모델은 아니지만 원리는 프로타노피아/듀테라노피아에 대한 오래된 실험과 같습니다: 우리는 "그림을 노란색으로 칠하지" 않고, 관찰자가 다른 광수용체를 가진 것처럼 다시 계산합니다. 결과적으로 빨강과 초록 물체는 색상에서 서로 가까워지고, 파란색은 상대적으로 독립적으로 남으며, 전체 채도가 떨어집니다.

시야각과 타원

고양이의 확장된 시야는 주로 수평입니다. 우리가 평면 그림(비디오 프레임)을 볼 때 진정한 200도 시야를 가지고 있지 않습니다. 그래서 여기서의 타원형 왜곡은 더 넓은 양안 시야를 직사각형 프레임에 적응시키는 방법입니다.

수평은 더 강하게 압축되고 수직은 덜 압축됩니다. 이것은 모든 방향에서 반경이 같은 구형 어안 렌즈가 아닙니다. 타원이 생깁니다: 이미지가 위아래보다 측면에서 더 눈에 띄게 "조여집니다". 시각적으로 이것은 더 넓은 시선의 느낌을 주지만 우리는 여전히 평범한 직사각형을 보고 있습니다. 애플리케이션에서는 셰이더에서 단일 UV 좌표 변환으로 수행됩니다 — 여러 다른 왜곡을 서로 위에 겹치지 않습니다.

움직임과 주의

가장 흥미로운 부분은 아마도 여기일 것입니다. 고양이는 단순히 "움직임을 보지" 않습니다. 시각 시스템(그리고 더 나아가 뇌)은 수평 성분에 특히 잘 반응합니다. 이를 보여주기 위해 모델에서 두 가지가 수행됩니다.

첫째, 배경에 대한 빠른 수평 움직임이 감지되면 재생이 느려집니다. 프레임에서 특별히 움직이는 것이 없을 때 비디오는 정상보다 조금 더 빠르게 재생됩니다(약 1.15×). 빠른 물체가 나타나면 속도가 떨어집니다(약 0.85×까지). 이것은 "아름다움을 위한 슬로모션"이 아니라 고양이가 분명히 얻는 것과 같은 느낌을 시청자에게 주려는 시도입니다: 빠른 수평 물체가 더 눈에 띄게 됩니다. 왜냐하면 그 주변의 시간이 일종의 늘어나기 때문입니다.

둘째, 물체 자체가 선명도로 강조됩니다. 배경과 더 느린 물체는 흐려지고 가장 빠른 수평 물체는 가장 선명하게 남습니다. 흐림은 가우시안입니다; 그 강도는 프레임에서 가장 빠른 물체의 속도에 따라 달라집니다. 더 느리게 움직이는 것들은 중간 선명도를 받습니다. 움직임 마스크도 즉시 사라지지 않습니다: 약 150 ms에 걸쳐 로지스틱 곡선을 따라 감쇠하므로 물체가 갑자기 "꺼지지" 않습니다.

감지는 배경에 상대적입니다. 카메라가 회전할 수 있고 배경이 이동하며 이 이동이 먼저 추정되고 보상됩니다. 보상 후 남은 것이 물체 움직임으로 간주됩니다. 이 잔여의 수평 성분에서 정확히 감속과 선명도 마스크가 모두 구축됩니다.

수직 주변도 조금 더 강하게 흐려집니다(시각 줄무늬): 프레임의 위와 아래가 중앙 밴드보다 더 부드럽습니다. 이것은 움직임 효과보다 약하게 표현되지만 존재합니다.

왜 신경망이 없나요

TensorFlow.js를 통해 움직임과 깊이 추정을 하려는 시도가 있었습니다. 아이디어는 매력적으로 보였습니다: 준비된 깊이 또는 광학 흐름 모델을 가져와 더 정확한 지도를 얻는 것입니다. 실제로는 두 가지가 분명해졌습니다. 수용 가능한 결과를 준 큰 모델은 웹 페이지에 너무 무겁습니다 — 클라이언트에 보내기 불편하고 처리를 눈에 띄게 느리게 합니다. 여전히 넣을 수 있는 작은 모델은 일반 전화 비디오에서 너무 노이즈가 많고 불안정한 결과를 주었습니다. 결국 고전적인 경로가 남았습니다: 글로벌 카메라 이동 추정, 잔여 및 마스크. 더 간단하고 예측 가능하며 수백 메가바이트의 가중치를 로드할 필요가 없습니다.

어떻게 조립되는지

모든 것이 브라우저에서 클라이언트 측에서 실행됩니다. 비디오가 로드되고 정규화된 다음 프레임별로 WebGL 셰이더로 들어갑니다. 셰이더에서 색상이 먼저 오고 그다음 타원형 왜곡, 배경과 수직의 가우시안 흐림, 움직임 마스크에 따른 혼합이 있습니다. 결과가 기록되고 이미 동적 속도로 재생되며 원본 비디오의 소리도 같은 속도로 재생됩니다.

마법은 없습니다. 움직임은 고전적으로 계산됩니다: 글로벌 카메라 이동 추정, 잔여, 마스크. 색상은 단순화된 채널 재계산입니다. 왜곡은 단일 기하학적 변환입니다. 하지만 함께 이것은 이미 그림이 세상을 조금 다르게 보고 있다는 느낌을 줍니다.

과학적 참고 문헌

동영상 예시와 처리

원본 클립과 고양이 시각 모델로 처리한 동일한 영상입니다.

원본
고양이 시각으로 처리

저자: ymik