Efektywne renderowanie obiektów 3D reprezentowanych za pomocą NeRF w środowisku rozszerzonej rzeczywistości

Rewolucja w kreowaniu rozszerzonej rzeczywistości 3D

Dr hab. Przemysław Spurek, prof. UJ z Wydziału Matematyki i Informatyki Uniwersytetu Jagiellońskiego realizuje projekt badawczy, który jeśli odniesie sukces, może otworzyć drogę do zupełnie nowego sposobu tworzenia treści 3D: znacznie szybszego niż obecnie, łatwiej dostępnego i w pełni zautomatyzowanego. Dzięki temu dowolny obiekt sfotografowany telefonem będzie można natychmiast przenieść do rozszerzonej rzeczywistości. Wirtualne światy stworzone tą techniką będą mogły znaleźć zastosowanie w wielu dziedzinach – od rozrywki, przez edukację, po medycynę. Projekt badawczy dr hab. Przemysława Spurka uzyskał finansowanie z programu Fundusze Europejskie dla Nowoczesnej Gospodarki 2021-2027 (FENG), w działaniu FIRST TEAM, realizowanym przez Fundację na rzecz Nauki Polskiej.

Wyobraź sobie, że robisz zdjęcie zwykłym telefonem, a chwilę później sfotografowany obiekt pojawia się obok ciebie - możesz go obejść, dotknąć, a nawet… ukroić z niego wirtualną kanapkę. Obecnie większość wirtualnych obiektów – tych w grach, filmach czy VR – jest tworzona przy pomocy tzw. meszy (ang. meshes). To struktury złożone z wielu drobnych, ręcznie zaprojektowanych wielokątów, które później są wypełniane odpowiednimiteksturami. Tworzenie takich obiektów wymaga ogromnej pracy grafików 3D i jest bardzo czasochłonne. W ostatnich latach pojawiła się jednak rewolucyjna alternatywa: NeRF (Neural Radiance Fields) i tzw. Gaussian Splatting, czyli technika polegająca na reprezentowaniuobiektów nie jako siatek, lecz jako zbiór półprzezroczystych kolorowych sfer (gausów), które razem tworzą pełną scenę. Przypomina to układanie obrazu z milionów świetlnych kulek, a efektem są naturalnie wyglądające obiekty, których nie trzeba ręcznie modelować. Co więcej, takie reprezentacje można tworzyć automatycznie, np. na podstawie zwykłego filmiku z telefonu.

„Nasz projekt idzie o krok dalej. Jego celem jest przeniesienie obiektów stworzonych metodą Gaussian Splatting do środowiska rozszerzonej rzeczywistości (AR). Oznacza to, że zamiast oglądać wirtualne przedmioty wyłącznie na ekranie komputera, będziemy mogli umieścić je w naszym rzeczywistym otoczeniu, dzięki okularom AR. To duże wyzwanie, bo dzisiejsze systemy AR są dostosowane głównie do pracy z klasycznymi meszami. Technologia Gaussian Splatting jest natomiast zupełnie nowym sposobem myślenia o obrazie 3D. Nasz projekt zakłada stworzenie autorskiego rozwiązania, które pozwoli na efektywne renderowanie tych gausów w czasie rzeczywistym, a także ich interakcję z użytkownikiem i ze światem fizycznym. Efektem będzie realistyczny i funkcjonalny świat 3D” – mówi prof. Przemysław Spurek.

Czteroletni plan badawczy zakłada kilka kluczowych etapów: po pierwsze – opracowanietechnologii, która umożliwi wyświetlanie gausowych obiektów w rozszerzonej rzeczywistości, a po drugie – stworzenie możliwości interaktywności (użytkownik będziemógł wchodzić w interakcje z obiektami – przesuwać je, edytować, „dotykać”), z zachowaniem praw fizyki i dynamiki (obiekty muszą reagować na prawa fizyki, np. grawitację, a także zmieniać się w czasie).

„Wirtualne światy stworzone tą techniką nie będą służyły jedynie rozrywce. Będą mogły być wykorzystywane np. w edukacji czy w medycynie. Jednym z partnerów naszego projektu jest firma zajmująca się badaniami kolonoskopowymi, która chce wykorzystać tę technologię do szkolenia lekarzy w realistycznym, bezpiecznym środowisku AR. Dzięki temu początkujący lekarz będzie mógł przećwiczyć wykonywanie zabiegu w wirtualnej sali operacyjnej, zanim pierwszy raz podejdzie do prawdziwego pacjenta” – dodaje prof. Przemysław Spurek.

Przemysław Spurek jest liderem zespołu badawczego ds. renderowania neuronowego w grupie GMUM (Group of Machine Learning Research) działającej na Uniwersytecie Jagiellońskim w Krakowie. Ukończył studia z matematyki na Wydziale Matematyki i Informatyki Uniwersytetu Jagiellońskiego, a następnie na tym samym wydziale obronił doktorat z uczenia maszynowego i teorii informacji. Odbył staże podoktorskie w Instytucie Podstaw Informatyki Polskiej Akademii Nauk w Warszawie oraz na Wydziale Elektrotechniki i Informatyki Uniwersytetu Technicznego (VSB) w Ostrawie w Czechach. W 2023 r uzyskał habilitację w dziedzinie informatyki i został profesorem uczelni. Publikował artykuły na prestiżowych międzynarodowych konferencjach, takich jak NeurIPS, ICML, IROS, AISTATS, ECML. Jest współautorem książki „Głębokie uczenie. Wprowadzenie”, będącejkompendium wiedzy na temat podstaw sztucznej inteligencji. Był kierownikiem grantów NCN PRELUDIUM, SONATA, OPUS i SONATA BIS. Obecnie jego badania koncentrują się głównie na renderowaniu nuronowym, algorytmach sztucznej inteligencji oraz analizieobiektów 3D za pomocą sztucznej inteligencji.