Ricerca mediante immagini e testo di asset 3D rappresentati come Neural Radiance Fields

La digitalizzazione delle scene tridimensionali è un campo ancora in fase di studio nell'ambito della Computer Vision. Ad oggi, uno degli approcci che sta riscuotendo un modesto successo, è rappresentato dai Neural Radiance Field (NeRF), per via delle loro capacità di ricostruzione accurate e veloci. Come già visto in nf2vec, è possibile sfruttare questa nuova tecnologia per applicazioni di deep learning con discreti risultati. Da qui è nata l’idea di creare un collegamento fra il mondo bidimensionale-testuale generato da CLIP, che è un modello di visione artificiale e linguaggio, e quello tridimensionale. L’obiettivo del presente lavoro di tesi, quindi, è quello di migliorare le capacità di retrieval da un database di scene tridimensionali sotto forma di NeRF. Nel dettaglio, si è sviluppata una rete, clip2nerf, capace di adattare il codice latente prodotto da CLIP nello spazio rappresentativo creato da nf2vec, in modo da semplificare l'individuazione e il recupero di NeRF.