Update app.py

app.py

@@ -7,6 +7,9 @@ import json
 import io
 import traceback
 import csv
+# HuggingFace 클라이언트 대신 OpenAI 클라이언트 사용
+from openai import OpenAI
+import os
 
 # 추론 API 클라이언트 설정
 hf_client = InferenceClient(
@@ -31,8 +34,13 @@ def load_parquet(filename: str) -> str:
     except Exception as e:
         return f"파일을 읽는 중 오류가 발생했습니다: {str(e)}"
 
+
+# OpenAI 클라이언트 설정
+client = OpenAI(api_key=os.getenv("OPEN_AI"))
+
+# respond 함수 수정
 def respond(message: str, history: List[Dict[str, str]], system_message: str = "", max_tokens: int = 4000, temperature: float = 0.5, top_p: float = 0.9, parquet_data: str = None) -> str:
-    # 시스템 프롬프트 강화
+    # 시스템 프롬프트 설정
     system_prefix = """반드시 한글로 답변할 것. 너는 업로드된 데이터를 기반으로 질문에 답변하는 역할을 한다.
 
 주요 지침:
@@ -50,35 +58,36 @@ def respond(message: str, history: List[Dict[str, str]], system_message: str = "
             system_prefix += f"\n\n데이터 요약:\n{data_summary}"
         except Exception as e:
             print(f"데이터 로드 오류: {str(e)}")
+
+    # 대화 히스토리 구성
+    messages = [{"role": "system", "content": system_prefix}]
     
     # 최근 대화 컨텍스트만 유지
     recent_history = history[-3:] if history else []
-    
-    prompt = system_prefix + "\n\n"
     for chat in recent_history:
-        if chat['role'] == 'user':
-            prompt += f"사용자: {chat['content']}\n"
-        else:
-            prompt += f"AI: {chat['content']}\n"
-    prompt += f"사용자: {message}\nAI:"
+        messages.append({"role": chat["role"], "content": chat["content"]})
+    
+    messages.append({"role": "user", "content": message})
 
     try:
-        response = ""
-        stream = hf_client.text_generation(
-            prompt=prompt,
-            max_new_tokens=max_tokens,
-            stream=True,
+        # OpenAI API 호출
+        response = client.chat.completions.create(
+            model="gpt-4-0125-preview",  # GPT-4-mini 모델 사용
+            messages=messages,
+            max_tokens=max_tokens,
             temperature=temperature,
             top_p=top_p,
-            repetition_penalty=1.2
+            stream=True
         )
-        
-        for msg in stream:
-            if msg:
-                response += msg
+
+        full_response = ""
+        for chunk in response:
+            if chunk.choices[0].delta.content:
+                full_response += chunk.choices[0].delta.content
                 # 응답 정제
-                cleaned_response = clean_response(response)
+                cleaned_response = clean_response(full_response)
                 yield cleaned_response
+
     except Exception as e:
         error_message = f"추론 오류: {str(e)}"
         print(error_message)
@@ -216,6 +225,7 @@ def text_to_parquet(text: str) -> Tuple[str, str, str]:
         print(f"{error_message}\n{traceback.format_exc()}")
         return error_message, "", ""
 
+# preprocess_text_with_llm 함수도 수정
 def preprocess_text_with_llm(input_text: str) -> str:
     if not input_text.strip():
         return "입력 텍스트가 비어있습니다."
@@ -232,56 +242,78 @@ def preprocess_text_with_llm(input_text: str) -> str:
    - Technology (기술)
    - Politics (정치)
    - Culture (문화)
-5. metadata: 날짜, 출처 등 추가 정보
+5. metadata: 날짜, 출처 등 추가 정보"""
 
-중요:
-- 동일한 텍스트를 반복해서 출력하지 말 것
-- 각 텍스트는 한 번만 처리하여 가장 적합한 label을 선택할 것
-- 입력 텍스트를 의미 단위로 적절히 분리할 것
+    try:
+        response = client.chat.completions.create(
+            model="gpt-4-0125-preview",
+            messages=[
+                {"role": "system", "content": system_prompt},
+                {"role": "user", "content": input_text}
+            ],
+            max_tokens=4000,
+            temperature=0.1,
+            stream=True
+        )
 
-예시:
-1,"이순신은 조선 중기의 무신이다.","Historical_Figure","조선시대, 위키백과"
+        full_response = ""
+        for chunk in response:
+            if chunk.choices[0].delta.content:
+                full_response += chunk.choices[0].delta.content
 
-주의사항:
-- text에 쉼표가 있으면 큰따옴표로 감싸기
-- 큰따옴표는 백슬래시로 이스케이프 처리
-- 각 행은 새로운 줄로 구분
-- 불필요한 반복 출력 금지"""
+        # 응답 정제
+        processed_text = clean_response(full_response)
+        
+        # CSV 형식 검증
+        try:
+            from io import StringIO
+            import csv
+            csv.reader(StringIO(processed_text))
+            return processed_text
+        except csv.Error:
+            return "LLM이 올바른 CSV 형식을 생성하지 못했습니다. 다시 시도해주세요."
+            
+    except Exception as e:
+        error_message = f"전처리 중 오류가 발생했습니다: {str(e)}"
+        print(error_message)
+        return error_message# preprocess_text_with_llm 함수도 수정
+def preprocess_text_with_llm(input_text: str) -> str:
+    if not input_text.strip():
+        return "입력 텍스트가 비어있습니다."
+        
+    system_prompt = """반드시 한글(한국어)로 답변하시오. 당신은 데이터 전처리 전문가입니다. 입력된 텍스트를 CSV 데이터셋 형식으로 변환하세요.
 
-    full_prompt = f"{system_prompt}\n\n입력텍스트:\n{input_text}\n\n출력:"
+규칙:
+1. 출력 형식: id,text,label,metadata
+2. id: 1부터 시작하는 순차적 번호
+3. text: 의미 있는 단위로 분리된 텍스트
+4. label: 텍스트의 주제나 카테고리를 아래 기준으로 정확하게 한 개만 선택
+   - Historical_Figure (역사적 인물)
+   - Military_History (군사 역사)
+   - Technology (기술)
+   - Politics (정치)
+   - Culture (문화)
+5. metadata: 날짜, 출처 등 추가 정보"""
 
     try:
-        response = ""
-        stream = hf_client.text_generation(
-            prompt=full_prompt,
-            max_new_tokens=4000,
-            temperature=0.1,  # 더 결정적인 출력을 위해 낮춤
-            top_p=0.9,
-            stream=True,
+        response = client.chat.completions.create(
+            model="gpt-4o-mini",
+            messages=[
+                {"role": "system", "content": system_prompt},
+                {"role": "user", "content": input_text}
+            ],
+            max_tokens=4000,
+            temperature=0.1,
+            stream=True
         )
-        
-        for msg in stream:
-            if msg:
-                response += msg
-        
-        # <EOS_TOKEN> 이전까지만 추출하고 정제
-        if "<EOS_TOKEN>" in response:
-            processed_text = response.split("<EOS_TOKEN>")[0].strip()
-        else:
-            processed_text = response.strip()
-            
-        # 중복 출력 제거
-        lines = processed_text.split('\n')
-        unique_lines = []
-        seen_texts = set()
-        
-        for line in lines:
-            line = line.strip()
-            if line and '출력:' not in line and line not in seen_texts:
-                unique_lines.append(line)
-                seen_texts.add(line)
-        
-        processed_text = '\n'.join(unique_lines)
+
+        full_response = ""
+        for chunk in response:
+            if chunk.choices[0].delta.content:
+                full_response += chunk.choices[0].delta.content
+
+        # 응답 정제
+        processed_text = clean_response(full_response)
         
         # CSV 형식 검증
         try:
@@ -599,3 +631,5 @@ with gr.Blocks(css=css) as demo:
 if __name__ == "__main__":
     demo.launch(share=True) 
 
+
+llm 모델 변경하라. openai api를 이용하고 모델은 gpt-4o-mini로 설정하라. api키는 os.getenv("OPEN_AI")를 이용하라