Große Sprachmodelle benötigen eine Menge Hardwareressourcen, um trainiert zu werden und auch Rückschlüsse zu führen. Was sind die Hardwareanforderungen für die Schulung von GPT-J, OPT und Bloom und was sind die Anforderungen an Rückschlüsse?
GPT-J und GPT-3 sind zwei große Sprachmodelle, während OPT und Bloom keine spezifischen Modelle sind, also bin ich nicht sicher, auf welche Sie sich beziehen. Ich kann Ihnen jedoch einige allgemeine Informationen über die Hardwareanforderungen für das Training und die Folgerung großer Sprachmodelle geben. Das Training großer Sprachmodelle erfordert eine beträchtliche Menge an Rechenressourcen, einschließlich CPU, RAM, Speicher und spezieller Hardware wie GPUs oder TPUs. GPT-3 wurde zum Beispiel auf einem Supercomputer mit 175 Milliarden Parametern geschult, die über 3.000 GPUs erforderten und über 400.000 Kernstunden Rechenzeit verbrauchten. GPT-J ist ein kleineres Modell als GPT-3, mit 6 Milliarden Parametern, aber immer noch eine beträchtliche Menge an Rechenressourcen. Die genauen Hardwareanforderungen für das Training von GPT-J sind nicht bekannt, da es ein von der Gemeinschaft gebautes Modell ist, das auf verschiedenen Hardware-Setups geschult wurde. Laufende Inferenzen oder mit einem geschulten Sprachmodell, um Text zu generieren oder andere Aufgaben auszuführen, erfordern auch erhebliche Rechenressourcen, aber im Allgemeinen nicht so viel wie Schulungsbedarf für virtuelle Hardware-Systeme, die in der Hardware- und der Komplexitäts-Technologie sind.