"Indicate i principali argomenti che l'abstract presenta."
Abstract: Il perfezionamento dei prompt continui per compiti specifici è emerso di recente come un'alternativa compatta al perfezionamento completo del modello. Motivati da questi risultati promettenti, abbiamo investigato la fattibilità di estrarre un'interpretazione discreta (testuale) dei prompt continui che sia fedele al problema che risolvono. Nella pratica, osserviamo un comportamento "deviante" tra il compito risolto dai prompt continui e le loro proiezioni discrete più vicine: possiamo trovare prompt continui che risolvono un compito pur essendo proiettati su un testo arbitrario (ad esempio, la definizione di un compito diverso o addirittura contrario), pur rimanendo entro un margine molto piccolo (2%) rispetto al miglior prompt continuo della stessa dimensione per il compito. Forniamo intuizioni su questo comportamento strano e sorprendente, nonché analisi empiriche estese che quantificano l'effetto di vari parametri. Ad esempio, per dimensioni di modello più grandi, osserviamo una maggiore devianza, ovvero possiamo trovare prompt che si mappano più strettamente su qualsiasi testo arbitrario con una caduta più piccola dell'accuratezza. Questi risultati hanno importanti implicazioni per la difficoltà di interpretare fedelmente i prompt continui e la loro generalizzazione tra modelli e compiti, fornendo indicazioni per futuri progressi nel prompting dei modelli di linguaggio.
L'argomento principale di questo articolo è che la discretizzazione di prompt continui per compiti di elaborazione del linguaggio naturale ha i suoi svantaggi, come dimostrato dal comportamento "deviante" che può essere osservato. Tale comportamento è particolarmente diffuso quando si utilizzano dimensioni di modello più grandi. Ciò ha importanti implicazioni per l'interpretazione fedele dei prompt continui e per la loro generalizzazione tra modelli e compiti, e richiede eventuali modifiche all'approccio utilizzato.