Zveriki Zveriki
نموذج رؤية القطة

نموذج رؤية القطة

حمّل مقطع فيديو. تتم المعالجة على جهازك باستخدام مظللات WebGL.

جارٍ التحضير...

النظر إلى العالم من خلال عيني قطة

هل أردت يومًا أن ترى العالم من خلال عيني قطة؟ ليس مجازيًا، بل حرفيًا: بألوانها، ومجال رؤيتها، وطريقتها في إبراز الحركة. منذ حوالي سبعة عشر عامًا كتبت الكثير عن نمذجة الرؤية البشرية وإدراك الألوان وعمى الألوان. كانت هناك مقالات عن نمذجة الرؤية وتطبيع الصورة حسب الإدراك ونموذج تتبع العين. كان كل شيء آنذاك يدور حول البشر: كيف يبني العين الصورة، وكيف ينكسر قناة لون، وكيف يمكن محاولة نمذجة ذلك على الحاسوب.

القطة خطوة تالية مريحة ومثيرة للاهتمام. رؤيتها مدروسة جيدًا، وتختلف بشكل قوي عن الرؤية البشرية، ومع ذلك تبقى قابلة للتعرف عليها. يمكنك أخذ فيديو عادي من الهاتف ومحاولة إظهار كيف قد تبدو المشهد نفسه تقريبًا لقطة.

كيف تُنظَّم رؤية القطة

القطة ثنائية اللون. لديها نوعان من المخاريط مع قمم حساسية تقريبًا في المنطقة الزرقاء (حوالي 450–460 نانومتر) وفي الأصفر-الأخضر (حوالي 550–560 نانومتر). الأحمر والأخضر لا يوجدان بالنسبة لها كألوان منفصلة: ينهاران في قناة واحدة صفراء-خضراء. هذا قريب جدًا مما نمذجته سابقًا للبروتانوبيا والديوترانوبيا، إلا أن هنا "فقدان" التمييز بين الأحمر والأخضر هو القاعدة وليس عيبًا. الأصفر أيضًا أقل تشبعًا بشكل ملحوظ. نتيجة لذلك عالم القطة ليس رماديًا، لكنه أيضًا ليس ملونًا مثل عالمنا: الأزرق يبقى أزرق، بينما كل ما هو أحمر-أخضر بالنسبة لنا يتحول إلى درجات صفراء-رمادية.

مجال الرؤية أوسع من مجال الإنسان. الزاوية الأفقية لرؤية القطة أكبر بشكل ملحوظ — حوالي 200–270° مقابل 180–220° لدينا. العيون موضوعة أبعد عن بعضها وليست تمامًا في نفس المستوى، لذا المجال الثنائي العينين ممتد بشكل أساسي أفقيًا. عموديًا الميزة أقل وضوحًا. هناك أيضًا خط بصري — منطقة حدة أعلى في الشريط الأفقي المركزي للشبكية. الطرف العلوي والسفلي أسوأ بشكل ملحوظ: التفاصيل هناك تتشوش. بالإضافة إلى ذلك القطط نسبيًا بعيدة النظر في المنطقة القريبة — حتى حوالي 80 سم كل شيء أكثر نعومة من الإنسان ذي التكيف الطبيعي.

وبشكل منفصل — عن الحركة. للإنسان خصوصياته النفسية في إدراك الألوان (كانت هناك مقالة عن قوة اللون)، بينما للقطة خصوصياتها الغريبة في الإدراك. القطط (وقشرتها البصرية) جيدة بشكل خاص في التقاط الأشياء التي تتحرك أفقيًا. ليس الأمر ببساطة أنها "ترى الحركة". المكون الأفقي للسرعة أولوية أعلى بالنسبة لها. كائن أفقي سريع يبرز حرفيًا من الخلفية. الخلفية نفسها يمكن أن تبقى هادئة نسبيًا.

كل هذا معًا يعطي صورة واضحة إلى حد ما عما يستحق محاولة نمذجته: اللون، المجال الأفقي الموسع، الطرف العمودي، والموقف الخاص تجاه الحركة الأفقية.

نموذج اللون

عندما نمذجت عمى الألوان سابقًا (عن عمى الألوان ونمذجة إدراك الألوان، كيف يرى عالم عمى الألوان)، كانت الفكرة الأساسية بسيطة: انظر كيف يتغير مساهمة المخاريط وأعد حساب اللون في فضاء حيث إحدى القنوات ضعيفة أو غائبة. مع القطة المنطق مشابه، فقط هناك قناتان من البداية.

في البرنامج يتم تصحيح اللون أولاً، قبل أي تشويش. يُحوَّل RGB إلى تمثيل ثنائي اللون مبسط: تُؤخذ القناة الزرقاء ومزيج أصفر-أخضر (ينهار الأحمر والأخضر)، ثم يُقلَّل تشبع الأصفر. هذا ليس نموذجًا طيفيًا كاملاً يعتمد على منحنيات غوفاردوفسكي، لكن المبدأ هو نفسه كما في التجارب القديمة مع البروتانوبيا/الديوترانوبيا: لا "نلون الصورة بالأصفر"، بل نعيد حسابها كما لو كان المراقب لديه مستقبلات ضوئية مختلفة. نتيجة لذلك تصبح الأشياء الحمراء والخضراء أقرب إلى بعضها في اللون، ويبقى الأزرق نسبيًا مستقلاً، وينخفض التشبع العام.

زوايا الرؤية والقطع الناقص

مجال الرؤية الموسع للقطة أفقي بشكل أساسي. عندما ننظر إلى صورة مسطحة (إطار فيديو) ليس لدينا رؤية حقيقية بـ200 درجة. لذا التشويه الإهليلجي هنا هو طريقة لتكييف مجال ثنائي العينين أوسع مع إطار مستطيل.

الأفقي يُضغط بقوة أكبر، والعمودي أقل. هذا ليس عدسة عين السمكة كروية حيث نصف القطر هو نفسه في كل الاتجاهات. ينتج قطع ناقص: الصورة "تُضغط" بشكل أكثر وضوحًا على الجانبين من الأعلى والأسفل. بصريًا يعطي هذا إحساسًا بنظرة أوسع، رغم أننا ما زلنا ننظر إلى مستطيل عادي. في التطبيق يتم ذلك بتحويل إحداثيات UV واحد في الشيدر — دون تراكب عدة تشوهات مختلفة فوق بعضها.

الحركة والانتباه

الجزء الأكثر إثارة للاهتمام على الأرجح هنا. القطة لا "ترى الحركة" ببساطة. نظامها البصري (ثم الدماغ) يتفاعل بشكل خاص جيد مع المكون الأفقي. لإظهار ذلك، يُفعل شيئان في النموذج.

أولاً، عندما يُكتشف حركة أفقية سريعة بالنسبة للخلفية، يتباطأ التشغيل. عندما لا يتحرك شيء معين في الإطار، يعمل الفيديو أسرع قليلاً من الطبيعي (حوالي 1.15×). عندما يظهر كائن سريع، تنخفض السرعة (إلى حوالي 0.85×). هذا ليس "حركة بطيئة للجمال"، بل محاولة لإعطاء المشاهد نفس الشعور الذي تحصل عليه القطة على ما يبدو: يصبح الكائن الأفقي السريع أكثر وضوحًا لأن الوقت حوله يُمدَّد نوعًا ما.

ثانيًا، يُبرز الكائن نفسه بالحدة. تُشوش الخلفية والكائنات الأبطأ، بينما يبقى الأسرع أفقيًا الأكثر حدة. التشويش غاوسي؛ قوته تعتمد على سرعة أسرع كائن في الإطار. الأشياء الأبطأ حركة تحصل على حدة متوسطة. قناع الحركة لا يختفي فورًا أيضًا: يتحلل على طول منحنى لوجستي على مدى حوالي 150 مللي ثانية، لذا لا "ينطفئ" الكائن فجأة.

الكشف نسبي للخلفية. قد تدور الكاميرا، تتحرك الخلفية، ويُقدَّر هذا التحول أولاً ويُعوَّض. ما يبقى بعد التعويض يُعتبر حركة الكائن. ومن المكون الأفقي لهذا البقايا تحديدًا يُبنى كل من التباطؤ وقناع الحدة.

الطرف العمودي يُشوش أيضًا بقوة أكبر قليلاً (الخط البصري): أعلى وأسفل الإطار أنعم من الشريط المركزي. هذا أقل تعبيرًا من تأثير الحركة، لكنه موجود.

لماذا لا شبكة عصبية

كانت هناك محاولة لعمل تقدير الحركة والعمق عبر TensorFlow.js. بدت الفكرة جذابة: خذ نموذج عمق أو تدفق بصري جاهز واحصل على خريطة أدق. في الممارسة اتضح شيئان. النماذج الكبيرة التي أعطت نتيجة مقبولة ثقيلة جدًا لصفحة ويب — غير مريحة لإرسالها للعميل وتبطئ المعالجة بشكل ملحوظ. الصغيرة التي يمكن ضغطها أعطت نتيجة صاخبة وغير مستقرة جدًا على فيديو هاتف عادي. في النهاية بقي المسار الكلاسيكي: تقدير التحول العالمي للكاميرا، البقايا والقناع. إنه أبسط وأكثر قابلية للتنبؤ ولا يتطلب تحميل مئات الميغابايت من الأوزان.

كيف يُجمَّع

كل شيء يعمل في المتصفح، على العميل. يُحمَّل الفيديو، يُطبَّع، ثم إطارًا بإطار يذهب إلى شيدر WebGL. في الشيدر يأتي اللون أولاً، ثم التشويه الإهليلجي، تشويش غاوسي للخلفية والعمودي، والخلط حسب قناع الحركة. تُسجَّل النتيجة وتُشغَّل بالفعل بسرعة ديناميكية، وصوت الفيديو الأصلي يعمل بنفس السرعة.

لا توجد سحر. تُحسب الحركة كلاسيكيًا: تقدير التحول العالمي للكاميرا، البقايا، القناع. اللون إعادة حساب قنوات مبسطة. التشويه تحويل هندسي واحد. لكن معًا يعطي هذا بالفعل شعورًا بأن الصورة تنظر إلى العالم بشكل مختلف قليلاً.

مراجع علمية

مثال فيديو والمعالجة

المقطع الأصلي والمقطع نفسه بعد معالجته بنموذج رؤية القطة.

الأصلي
بعد المعالجة برؤية القطة

المؤلف: ymik