"Scrivi un tweet riguardo all'ultimo articolo di ricerca."
Abstract: Il perfezionamento dei prompt continui per compiti specifici è emerso di recente come un'alternativa compatta al perfezionamento completo del modello. Motivati da questi risultati promettenti, abbiamo investigato la fattibilità di estrarre un'interpretazione discreta (testuale) dei prompt continui che sia fedele al problema che risolvono. Nella pratica, osserviamo un comportamento "deviante" tra il compito risolto dai prompt continui e le loro proiezioni discrete più vicine: possiamo trovare prompt continui che risolvono un compito pur essendo proiettati su un testo arbitrario (ad esempio, la definizione di un compito diverso o addirittura contrario), pur rimanendo entro un margine molto piccolo (2%) rispetto al miglior prompt continuo della stessa dimensione per il compito. Forniamo intuizioni su questo comportamento strano e sorprendente, nonché analisi empiriche estese che quantificano l'effetto di vari parametri. Ad esempio, per dimensioni di modello più grandi, osserviamo una maggiore devianza, ovvero possiamo trovare prompt che si mappano più strettamente su qualsiasi testo arbitrario con una caduta più piccola dell'accuratezza. Questi risultati hanno importanti implicazioni per la difficoltà di interpretare fedelmente i prompt continui e la loro generalizzazione tra modelli e compiti, fornendo indicazioni per futuri progressi nel prompting dei modelli di linguaggio.
Date un'occhiata al nostro ultimo articolo di ricerca: Investigare la #devianza dei #prompt continui in #NLP e le sue implicazioni per la modellizzazione. #AI #NLPMachineLearning