Für mein maschinelles Lernforschungsprojekt möchte ich ein großes Sprachmodell (LLM) für eine bestimmte verstärkende Lernaufgabe feinabstimmen. Bei dieser Aufgabe handelt es sich um einen Agenten, der ein LLM ist, das durch eine Ausführungsumgebung (z. B. Python REPL) erweitert wurde. Der Agent interagiert mit einem formalen Verifizierer. Das Ziel des Agenten ist es, eine technische Aufgabe zu lösen. Ich möchte mit einem vortrainierten Modell beginnen, das folgende Bedingungen erfüllt:
* Das Modell kann effizient mit A100 Nvidia GPUs in weniger als 100 GPU-Stunden feinabgestimmt werden;
* Trainiert anhand von wissenschaftlichen Papieren (z. B. arxiv) und Code (z. B. Github);
* Öffentlich verfügbar.

Bitte mache Folgendes:
1. Welche Art von Modell eignet sich am besten für meinen Zweck? Bitte wiederhole nicht meine Bedingungen; gib stattdessen einen Rat, worauf ich noch achten sollte, wenn ich ein Modell auswähle.
2. Beschreibe, wie man solche Modelle findet, z. B. gib einen Verweis auf eine Website mit einer Liste vortrainierter LLM-Modelle oder eine gute Suchanfrage, um eine solche Liste zu finden.
3. Gib mir ein paar (3..5) Optionen zur Verwendung, indem du Vor- und Nachteile für meinen speziellen Zweck auflistest.
1. Für deinen speziellen Zweck könnte ein auf Transformer basierendes Sprachmodell wie BERT, GPT-3 oder RoBERTa am besten geeignet sein. Diese Modelle haben state-of-the-art Ergebnisse bei verschiedenen natürlichen Sprachverarbeitungsaufgaben erzielt, einschließlich Leseverständnis und Textklassifikation, und wurden auf großen Mengen an Textdaten vortrainiert. Du solltest auch die Größe des Modells und dessen Fähigkeit zur Feinabstimmung berücksichtigen.

2. Ein guter Ausgangspunkt zur Suche nach vortrainierten Sprachmodellen ist das Modell-Hub von Hugging Face (https://huggingface.co/models). Du kannst auch Modelle auf den Websites großer KI-Forschungsorganisationen wie OpenAI und Google AI finden. Eine Suchanfrage wie "vortrainierte Sprachmodelle für NLP" oder "vortrainierte Transformer-Modelle" kann ebenfalls nützliche Ergebnisse liefern.

3. Einige Optionen, die du in Betracht ziehen könntest, sind:

BERT: BERT (Bidirectional Encoder Representations from Transformers) ist ein beliebtes vortrainiertes Sprachmodell, das von Google entwickelt wurde. Es wurde auf einer Vielzahl von NLP-Aufgaben feinabgestimmt und hat dabei state-of-the-art Ergebnisse erzielt. Die Vorteile von BERT sind seine bidirektionale Natur und seine Fähigkeit, eine Vielzahl von NLP-Aufgaben zu bewältigen, aber seine Größe kann die Feinabstimmung auf kleineren Datensätzen anspruchsvoller machen.

GPT-3: GPT-3 (Generative Pre-trained Transformer 2) ist ein weiteres vortrainiertes Sprachmodell, das von OpenAI entwickelt wurde. Es ist eines der größten verfügbaren Sprachmodelle mit über 1,5 Milliarden Parametern. GPT-2 wurde auf verschiedene NLP-Aufgaben feinabgestimmt, aber seine Größe kann die Feinabstimmung auf kleineren Datensätzen anspruchsvoller machen.

RoBERTa: RoBERTa (Robustly Optimized BERT Pretraining Approach) ist eine Variante von BERT, die von Facebook AI entwickelt wurde. Es ist darauf ausgelegt, BERT bei einer Vielzahl von NLP-Aufgaben zu übertreffen und wurde auf einem viel größeren Textkorpus vortrainiert. Die Vorteile von RoBERTa sind sein optimiertes Vortrainingsverfahren und seine Fähigkeit, eine Vielzahl von NLP-Aufgaben zu bewältigen, aber seine Größe kann die Feinabstimmung auf kleineren Datensätzen anspruchsvoller machen.

Dies sind nur einige Optionen, die du in Betracht ziehen kannst, und du kannst auch andere Modelle finden, die besser zu deinen spezifischen Anforderungen passen. Es ist wichtig, die Fähigkeiten und Einschränkungen der Modelle sowie die Verfügbarkeit von vortrainierten Modellen und Ressourcen zur Feinabstimmung gründlich zu bewerten, bevor du eine endgültige Entscheidung triffst.