Possono i Large Language Models interpretare opere d’arte sconosciute?

Negli ultimi anni i Large Language Models(LLM) hanno dimostrato capacità sempre più avanzate nella comprensione e nella generazione di testi in linguaggio naturale. Tuttavia, il loro comportamento in domini complessi e culturalmente connotati, come quello dell'arte, rimane in parte inesplorato. Questa tesi si propone di analizzare e confrontare le prestazioni di tre diversi LLM - ChatGPT, Gemini e Claude - nell'interpretazione automatica di opere d'arte e nell'estrazione strutturata di informazioni stilistiche e storico-artistiche delle immagini. L'analisi viene condotta su un insieme di opere selezionate da diversi dataset artistici, con particolare attenzione alla scelta di opere che non risultino immediatamente riconoscibili dai modelli, al fine di ridurre l'influenza di conoscenza enciclopedica pregressa e favorire un'analisi basata prevalentemente sul contenuto visivo. Per ciascuna opera, a uno dei modelli viene inizialmente richiesto se riconosce l'opera e, nel caso la risposta sia affermativa, di indicare il nome dell'autore e il titolo. Quindi, vengono selezionate solo le opere non riconosciute o quelle dove la risposta è affermativa ma l'autore è errato. In una seconda fase, ai modelli viene richiesto di sintetizzare alcune informazioni strutturate relative all'opera come lo stile artistico, il periodo storico e anche aspetti più formali come le tecniche utilizzate, come è composta l'opera e una descrizione del dipinto. Inoltre le opere vengono anche valutate seguendo alcuni principi storici dell'arte come quelli di Wölfflin. Tali informazioni vengono infine confrontate con i metadati ufficiali del dataset di riferimento, consentendo una valutazione quantitativa e qualitativa delle prestazione dei modelli in termini di accuratezza, coerenza e completezza delle risposte. Al fine di garantire la comparabilità dei risultati, tutti i modelli vengono interrogati utilizzando gli stessi prompt e le stesse condizioni di input.