Update app.py

app.py

@@ -177,7 +177,7 @@ def document_storage_mongodb(splits):
 
 #Vektorstore vorbereiten...
 #dokumente in chroma db vektorisiert ablegen können - die Db vorbereiten daüfur
-def document_retrieval_chroma(llm, prompt):  
+def document_retrieval_chroma(llm, prompt): 
     #OpenAI embeddings -------------------------------
     embeddings = OpenAIEmbeddings()
 
@@ -205,20 +205,20 @@ def document_retrieval_mongodb(llm, prompt):
 
 #langchain nutzen, um prompt an LLM zu leiten - llm und prompt sind austauschbar
 #prompt ohne RAG!!!
-def llm_chain(llm, prompt):
-    llm_chain = LLMChain(llm = llm, prompt = LLM_CHAIN_PROMPT)
-    result = llm_chain.run({"question": prompt})
-    return result
+def llm_chain(prompt):
+    llm_template = "Beantworte die Frage am Ende. " + template + "Frage: " + prompt
+    return llm_template
 
 #langchain nutzen, um prompt an llm zu leiten, aber vorher in der VektorDB suchen, um passende splits zum Prompt hinzuzufügen
 #prompt mit RAG!!!
-def rag_chain(llm, prompt, db):
-    rag_chain = RetrievalQA.from_chain_type(llm, 
-                                            chain_type_kwargs = {"prompt": RAG_CHAIN_PROMPT}, 
-                                            retriever = db.as_retriever(search_kwargs = {"k": 3}), 
-                                            return_source_documents = True)
-    result = rag_chain({"query": prompt})
-    return result["result"]
+def rag_chain(prompt, db):
+    rag_template = "Nutze die folgenden Kontext Teile am Ende, um die Frage zu beantworten . " + template + "Frage: " + prompt + "Kontext Teile: "
+    retrieved_chunks = db.query(prompt, k=3)  #3 passende chunks zum Prompt hinzufügen 
+    neu_prompt = rag_template 
+    for i, chunk in enumerate(retrieved_chunks):
+        neu_prompt += f"{i+1}. {chunk}\n"
+
+    return neu_prompt
 
 
 
@@ -268,39 +268,35 @@ def generate(text, history):
     #prompt = f"""Use the following pieces of context to answer the question at the end. If you don't know the answer, just say that you don't know, don't try to make up an answer.
             #{context} Question: {text}"""
 
-    #mit RAG:
-    #??? wie aus Chroma die passenden Text-Schnipsel dazuladen???
-    prompt = generate_prompt_with_history_openai(text_neu, history)
+    try:
+        #muss nur einmal ausgeführt werden... 
+        if not splittet:
+            splits = document_loading_splitting()
+            document_storage_chroma(splits)
+        db = document_retrieval_chroma(llm, history_text_und_prompt)
+        #result = rag_chain(llm, history_text_und_prompt, db)
+        #mit RAG:
+        neu_text_mit_chunks = rag_chain(text, db)
+        prompt = generate_prompt_with_history_openai(neu_text_mit_chunks, history)
     
-    #zusammengesetzte Anfrage an Modell...
-    #payload = tokenizer.apply_chat_template([{"role":"user","content":prompt}],tokenize=False)
-    payload = tokenizer.apply_chat_template(prompt,tokenize=False)
-    res = client.text_generation(
+        #zusammengesetzte Anfrage an Modell...
+        #payload = tokenizer.apply_chat_template([{"role":"user","content":prompt}],tokenize=False)
+        payload = tokenizer.apply_chat_template(prompt,tokenize=False)
+        result = client.text_generation(
                     payload,
                     do_sample=True,
                     return_full_text=False,
                     max_new_tokens=2048,
                     top_p=0.9,
                     temperature=0.6,
-                )
-   
-    
-    
-    try:
-        #muss nur einmal ausgeführt werden... 
-        if not splittet:
-            splits = document_loading_splitting()
-            document_storage_chroma(splits)
-        #db = document_retrieval_chroma(llm, history_text_und_prompt)
-        #result = rag_chain(llm, history_text_und_prompt, db)
-
+              )        
     except Exception as e:
         raise gr.Error(e)
 
     #Antwort als Stream ausgeben... 
-    #for i in range(len(result)):
-        #time.sleep(0.05)
-        #yield  result[: i+1]
+    for i in range(len(result)):
+        time.sleep(0.05)
+        yield  result[: i+1]