Progetta un esperimento per testare la capacità dei modelli GPT nella comprensione del linguaggio naturale.
L'esperimento dovrebbe prevedere la somministrazione di un insieme di compiti di linguaggio naturale ai modelli GPT e la valutazione delle loro prestazioni. Questi compiti possono includere classificazione, generazione aperta, comprensione e correzione. I compiti dovrebbero comprendere una miscela di domande a risposta breve e di stile saggio con diversi livelli di complessità. Esempi di possibili compiti potrebbero includere: tradurre una frase, riscrivere una frase per renderla grammaticalmente corretta, generare una descrizione per un'immagine o rispondere a una domanda a scelta multipla su un passaggio dato. I compiti dovrebbero essere progettati in modo che l'output dei modelli GPT sia facilmente determinabile. La valutazione dovrebbe anche considerare altri aspetti come la fluidità, la leggibilità e la correttezza grammaticale.