فناوری Instant NeRF انویدیا با توانایی تبدیل تصاویر دو بعدی به صحنه های سه بعدی

انویدیا برای آموزش الگوریتم‌های هوش مصنوعی و ایجاد صحنه‌ای سه‌بعدی از عکس‌های دوبعدی گرفته‌شده در زوایای مختلف تنها در چند ثانیه، رویکرد جدیدی را برای رندر معکوس توسعه داده است. این روش آموزش شبکه های عصبی و رندر سریع را با هم ادغام می کند و یکی از اولین مدل هایی در نوع خود است که این کار را انجام می دهد.

این شرکت این رویکرد را برای یک فناوری نسبتاً جدید به نام میدان‌های تابشی عصبی (NeRF) به کار برد و “سریع‌ترین تکنیک NeRF تا به امروز”، Instant NeRF را تولید کرد که قادر به دستیابی به بیش از 1000 برابر سرعت در موارد خاص است. این مدل برای آموزش روی چند ده عکس ثابت همراه با متادیتا در مورد زوایای دوربین به چند ثانیه نیاز دارد و سپس می‌تواند صحنه سه‌بعدی حاصل را در «ده‌ها میلی‌ثانیه» ارائه کند.

این شرکت می‌گوید که Instant NeRF می‌تواند برای توسعه آواتارها یا مناظر در جهان‌های مجازی، رندر کردن شرکت‌کنندگان در کنفرانس ویدیویی و محیط‌هایشان به صورت سه بعدی یا بازسازی صحنه‌ها برای نقشه‌های دیجیتالی سه‌بعدی استفاده شود. از طریق Instant NeRF، انویدیا توانست عکسی از اندی وارهول را در حال گرفتن عکس فوری بازسازی کند و آن را به یک صحنه سه بعدی تبدیل کند تا به روزهای اولیه تصاویر پولاروید ادای احترام کند.

این مدل با استفاده از NVIDIA CUDA Toolkit و کتابخانه Tiny CUDA Neural Networks تولید شده است. از آنجایی که یک شبکه عصبی سبک وزن است، می‌توان آن را با یک پردازنده گرافیکی انودیا آموزش داد و اجرا کرد و عملکرد آن در Tensor Cores بهبود یافته است.