Wie lang ist ein üblicher Einbettungsvektor für einen Vision-Transformer?
Vision-Transformer verwenden üblicherweise Einbettungsvektoren der Größe:

768 (z. B. ViT-Base)
1024 (z. B. ViT-Large)
2048 (z. B. ViT-Huge)

Andrei-Cristian Rad erklärt in seinem Artikel auf Medium, dass die ViT-Architektur einen trainierbaren Einbettungstensor der Form (p²*c, d) verwendet, der jedes flache Patch linear auf die Dimension d abbildet. Diese Dimension d ist in der Architektur konstant und wird in den meisten Komponenten verwendet.

Daher ist eine Einbettungsgröße von 768 bis 2048 Dimensionen üblich und wurde in der Forschung untersucht.
Im Allgemeinen ermöglichen größere Einbettungsgrößen dem Modell, feinere Beziehungen und Repräsentationen zu erfassen, erhöhen jedoch auch die Parameteranzahl und das Risiko von Overfitting. Es handelt sich also um einen Kompromiss, und die genaue Größe hängt vom spezifischen Anwendungsfall und den verfügbaren Daten ab.