Chatbot anni ’60 ELIZA sorprende nel Test di Turing, battendo GPT-3.5: GPT-4 ancora lontano dal successo

Nel recente esperimento condotto dai ricercatori dell’Università della California a San Diego, il chatbot ELIZA degli anni ’60 ha sorprendentemente superato il modello linguistico GPT-3.5 nel Test di Turing. L’obiettivo era valutare quale tra GPT-4 di OpenAI, GPT-3.5 e il vecchio ELIZA fosse in grado di convincere gli utenti di interagire con un essere umano. Il Test di Turing, ideato da Alan Turing nel 1950, valuta la capacità di una macchina di esprimere comportamenti intelligenti, cercando di rendere indistinguibile l’interazione con un essere umano.

L’esperimento

L’esperimento coinvolgeva 652 partecipanti, che interagivano con vari interlocutori rappresentanti esseri umani o modelli di intelligenza artificiale, tra cui GPT-4, GPT-3.5 ed ELIZA. Mentre i risultati hanno mostrato che GPT-4 non ha raggiunto il 50% di successo e non ha superato gli esseri umani, è interessante notare che ELIZA ha ottenuto un tasso di successo del 27%, superando GPT-3.5 (14%).

I ricercatori hanno sottolineato che GPT-4 potrebbe superare il Test di Turing con un design adeguato del prompt, ma questo richiederebbe la creazione di prompt in grado di imitare sottilmente gli stili conversazionali umani. Tuttavia, è importante notare che GPT-4 è stato programmato specificamente per non presentarsi come un essere umano, il che potrebbe influenzare i risultati.

L’esperimento ha evidenziato anche alcune strategie comuni utilizzate dagli intervistatori nel Test di Turing, come le conversazioni in lingua non inglese e la richiesta di informazioni sull’orario o sugli eventi contemporanei. Inoltre, le decisioni degli intervistatori si basavano principalmente sullo stile linguistico e sugli aspetti socio-emotivi delle risposte.

In conclusione, sebbene ELIZA abbia superato GPT-3.5 nel Test di Turing, GPT-4 non ha ancora raggiunto il successo desiderato, suggerendo che ulteriori sviluppi sono necessari per migliorare la capacità delle intelligenze artificiali nel simulare interazioni umane convincenti.