Wie lange ist ein Einbettungsvektor für einen Vision-Transformator üblich?
Vision Transformers verwenden häufig Einbettungsvektoren der Größe: 768 (z.B. ViT-Base) 1024 (z.B. ViT-Large) 2048 (z.B. ViT-Huge) Andrei-Kristian Rad erklärt in seinem Artikel über Medium, dass die ViT-Architektur einen trainingablen Einbettungs-Zähler der Form (p2*c, d) verwendet, der lernt, jeden flachen Patch linear auf die Dimension d zu projizieren. Diese Dimension d ist in der Architektur konstant und wird in den meisten Komponenten verwendet. So ist es überall von 768 bis 2048 Dimensionen üblich und wurde in der Forschung erforscht. Im Allgemeinen ermöglichen größere Einbettungsgrößen dem Modell, feinkörnige Beziehungen und Darstellungen zu erfassen, aber auch die Parameterzahl und das Risiko einer Überrüstung zu erhöhen. So ist es ein Kompromiss, und die genaue Größe wird von dem spezifischen Anwendungsfall und den verfügbaren Daten abhängen.