محققان محیط های سه بعدی را از بازتاب چشم ها بازسازی کردند

محققان دانشگاه مریلند انعکاس چشم را به صحنه های سه بعدی (تا حدودی قابل تشخیص) تبدیل کرده اند. این کار بر اساس میدان‌های تابشی عصبی (NeRF)، یک فناوری هوش مصنوعی است که می‌تواند محیط‌ها را از روی عکس‌های دوبعدی بازسازی کند. اگرچه رویکرد انعکاس چشم راه درازی را قبل از ایجاد هرگونه کاربرد عملی در پیش دارد، این مطالعه (برای اولین بار توسط Tech Xplore گزارش شد) نگاه اجمالی جالبی به فناوری ارائه می دهد که در نهایت می تواند یک محیط را از مجموعه ای از عکس های پرتره ساده نشان دهد.

این تیم از انعکاس‌های ظریف نور گرفته شده در چشمان انسان (با استفاده از تصاویر متوالی گرفته شده از یک سنسور) برای تشخیص محیط نزدیک فرد استفاده کردند. آنها با چندین تصویر با وضوح بالا از یک موقعیت ثابت دوربین شروع کردند و فردی متحرک را به تصویر کشیدند که به سمت دوربین نگاه می کرد. سپس روی بازتاب‌ها زوم کردند، آنها را جدا کردند و محاسبه کردند که چشم‌ها در عکس‌ها کجا نگاه می‌کنند.

این تیم برای بازسازی حتی صحنه های خام و مبهم بر موانع مهمی غلبه کرد. به عنوان مثال، قرنیه “نویز ذاتی” را نشان داده که جداسازی نور بازتاب شده از بافت پیچیده عنبیه انسان را دشوار می کند. برای رسیدگی به آن، آنها بهینه سازی ژست قرنیه (تخمین موقعیت و جهت قرنیه) و تجزیه بافت عنبیه (استخراج ویژگی های منحصر به فرد عنبیه یک فرد) را در طول تمرین معرفی کردند. در نهایت، از دست دادن منظم‌سازی بافت شعاعی (یک تکنیک یادگیری ماشینی که بافت‌های صاف‌تری را نسبت به ماده منبع شبیه‌سازی می‌کند) به جداسازی و بهبود بیشتر مناظر منعکس‌شده کمک کرد.

با وجود پیشرفت ها و راه حل های هوشمندانه، موانع قابل توجهی باقی مانده است. نویسندگان می نویسند: نتایج فعلی دنیای واقعی ما از یک “تنظیم آزمایشگاهی” است، مانند تصویربرداری با بزرگنمایی از صورت یک فرد، نورهای ناحیه برای روشن کردن صحنه و حرکت عمدی فرد. ما معتقدیم تنظیمات بدون محدودیت بیشتر (مانند کنفرانس ویدیویی با حرکت طبیعی سر) به دلیل وضوح کمتر حسگر، محدوده دینامیکی و تاری حرکت همچنان چالش برانگیز هستند.

علاوه بر این، این تیم خاطرنشان می‌کند که مفروضات جهانی آن در مورد بافت عنبیه ممکن است خیلی ساده‌تر از آن باشد که به طور گسترده اعمال شود، به خصوص زمانی که چشم‌ها معمولاً بیشتر از این نوع تنظیمات کنترل‌شده می‌چرخند. با این حال، تیم پیشرفت خود را به عنوان نقطه عطفی می بیند که می تواند به پیشرفت های آینده کمک کند.