Spaces:
Runtime error
Runtime error
Update app.py
Browse files
app.py
CHANGED
@@ -7,30 +7,30 @@ import os
|
|
7 |
# Hole den API-Token aus den Umgebungsvariablen
|
8 |
hf_token = os.getenv("HF_TOKEN")
|
9 |
if hf_token is None:
|
10 |
-
raise ValueError("HF_TOKEN
|
11 |
|
12 |
# Basismodell- und LoRA-Modellnamen
|
13 |
base_model_name = "mistralai/Mistral-7B-Instruct-v0.2"
|
14 |
lora_model_name = "TooKeen/neo-blockchain-assistant"
|
15 |
|
16 |
-
# Lade Tokenizer und Modell mit
|
17 |
-
tokenizer = AutoTokenizer.from_pretrained(base_model_name,
|
18 |
-
base_model = AutoModelForCausalLM.from_pretrained(base_model_name,
|
19 |
model = PeftModel.from_pretrained(base_model, lora_model_name)
|
20 |
|
21 |
-
# Definiere
|
22 |
def generate_text(prompt):
|
23 |
inputs = tokenizer(prompt, return_tensors="pt").to("cuda" if torch.cuda.is_available() else "cpu")
|
24 |
outputs = model.generate(**inputs, max_length=100)
|
25 |
return tokenizer.decode(outputs[0], skip_special_tokens=True)
|
26 |
|
27 |
-
# Gradio-Oberfläche
|
28 |
interface = gr.Interface(
|
29 |
fn=generate_text,
|
30 |
inputs=gr.Textbox(lines=2, placeholder="Geben Sie Ihren Text hier ein..."),
|
31 |
outputs="text",
|
32 |
title="Blockchain Assistant",
|
33 |
-
description="Geben Sie einen Text ein, und das Modell generiert eine
|
34 |
)
|
35 |
|
36 |
# Starte die Gradio-App
|
|
|
7 |
# Hole den API-Token aus den Umgebungsvariablen
|
8 |
hf_token = os.getenv("HF_TOKEN")
|
9 |
if hf_token is None:
|
10 |
+
raise ValueError("HF_TOKEN ist nicht gesetzt. Bitte überprüfe deine Secrets.")
|
11 |
|
12 |
# Basismodell- und LoRA-Modellnamen
|
13 |
base_model_name = "mistralai/Mistral-7B-Instruct-v0.2"
|
14 |
lora_model_name = "TooKeen/neo-blockchain-assistant"
|
15 |
|
16 |
+
# Lade den Tokenizer und das Modell mit dem API-Token
|
17 |
+
tokenizer = AutoTokenizer.from_pretrained(base_model_name, use_auth_token=hf_token)
|
18 |
+
base_model = AutoModelForCausalLM.from_pretrained(base_model_name, use_auth_token=hf_token, device_map="auto")
|
19 |
model = PeftModel.from_pretrained(base_model, lora_model_name)
|
20 |
|
21 |
+
# Definiere eine Funktion zur Textgenerierung
|
22 |
def generate_text(prompt):
|
23 |
inputs = tokenizer(prompt, return_tensors="pt").to("cuda" if torch.cuda.is_available() else "cpu")
|
24 |
outputs = model.generate(**inputs, max_length=100)
|
25 |
return tokenizer.decode(outputs[0], skip_special_tokens=True)
|
26 |
|
27 |
+
# Erstelle die Gradio-Oberfläche
|
28 |
interface = gr.Interface(
|
29 |
fn=generate_text,
|
30 |
inputs=gr.Textbox(lines=2, placeholder="Geben Sie Ihren Text hier ein..."),
|
31 |
outputs="text",
|
32 |
title="Blockchain Assistant",
|
33 |
+
description="Geben Sie einen Text ein, und das Modell generiert eine Antwort."
|
34 |
)
|
35 |
|
36 |
# Starte die Gradio-App
|