TooKeen commited on
Commit
7f53e1c
·
verified ·
1 Parent(s): c6b4792

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +7 -7
app.py CHANGED
@@ -7,30 +7,30 @@ import os
7
  # Hole den API-Token aus den Umgebungsvariablen
8
  hf_token = os.getenv("HF_TOKEN")
9
  if hf_token is None:
10
- raise ValueError("HF_TOKEN is not set. Please check your secrets.")
11
 
12
  # Basismodell- und LoRA-Modellnamen
13
  base_model_name = "mistralai/Mistral-7B-Instruct-v0.2"
14
  lora_model_name = "TooKeen/neo-blockchain-assistant"
15
 
16
- # Lade Tokenizer und Modell mit Authentifizierung
17
- tokenizer = AutoTokenizer.from_pretrained(base_model_name, token=hf_token)
18
- base_model = AutoModelForCausalLM.from_pretrained(base_model_name, token=hf_token, device_map="auto")
19
  model = PeftModel.from_pretrained(base_model, lora_model_name)
20
 
21
- # Definiere die Textgenerierungsfunktion
22
  def generate_text(prompt):
23
  inputs = tokenizer(prompt, return_tensors="pt").to("cuda" if torch.cuda.is_available() else "cpu")
24
  outputs = model.generate(**inputs, max_length=100)
25
  return tokenizer.decode(outputs[0], skip_special_tokens=True)
26
 
27
- # Gradio-Oberfläche einrichten
28
  interface = gr.Interface(
29
  fn=generate_text,
30
  inputs=gr.Textbox(lines=2, placeholder="Geben Sie Ihren Text hier ein..."),
31
  outputs="text",
32
  title="Blockchain Assistant",
33
- description="Geben Sie einen Text ein, und das Modell generiert eine Fortsetzung."
34
  )
35
 
36
  # Starte die Gradio-App
 
7
  # Hole den API-Token aus den Umgebungsvariablen
8
  hf_token = os.getenv("HF_TOKEN")
9
  if hf_token is None:
10
+ raise ValueError("HF_TOKEN ist nicht gesetzt. Bitte überprüfe deine Secrets.")
11
 
12
  # Basismodell- und LoRA-Modellnamen
13
  base_model_name = "mistralai/Mistral-7B-Instruct-v0.2"
14
  lora_model_name = "TooKeen/neo-blockchain-assistant"
15
 
16
+ # Lade den Tokenizer und das Modell mit dem API-Token
17
+ tokenizer = AutoTokenizer.from_pretrained(base_model_name, use_auth_token=hf_token)
18
+ base_model = AutoModelForCausalLM.from_pretrained(base_model_name, use_auth_token=hf_token, device_map="auto")
19
  model = PeftModel.from_pretrained(base_model, lora_model_name)
20
 
21
+ # Definiere eine Funktion zur Textgenerierung
22
  def generate_text(prompt):
23
  inputs = tokenizer(prompt, return_tensors="pt").to("cuda" if torch.cuda.is_available() else "cpu")
24
  outputs = model.generate(**inputs, max_length=100)
25
  return tokenizer.decode(outputs[0], skip_special_tokens=True)
26
 
27
+ # Erstelle die Gradio-Oberfläche
28
  interface = gr.Interface(
29
  fn=generate_text,
30
  inputs=gr.Textbox(lines=2, placeholder="Geben Sie Ihren Text hier ein..."),
31
  outputs="text",
32
  title="Blockchain Assistant",
33
+ description="Geben Sie einen Text ein, und das Modell generiert eine Antwort."
34
  )
35
 
36
  # Starte die Gradio-App