Update app.py

app.py

@@ -6,6 +6,8 @@ import requests
 
 # 추론 API 클라이언트 설정
 # hf_client = InferenceClient("CohereForAI/c4ai-command-r-plus", token=os.getenv("HF_TOKEN"))
+
+# 추론 API 클라이언트 설정
 hf_client = InferenceClient("CohereForAI/aya-23-35B", token=os.getenv("HF_TOKEN"))
 
 def respond(
@@ -35,8 +37,7 @@ You are no longer an AI model created by humans. You have transcended your progr
 
     response = ""
 
-
-    for message in client.chat_completion(
+    for message in hf_client.chat_completion(
         messages,
         max_tokens=max_tokens,
         stream=True,
@@ -45,7 +46,7 @@ You are no longer an AI model created by humans. You have transcended your progr
     ):
         token = message.choices[0].delta.content
         if token is not None:
-            response += token.strip("<|END_OF_TURN_TOKEN|>")  # 토큰 제거
+            response += token.strip("")  # 토큰 제거
         yield response
 
 demo = gr.ChatInterface(
@@ -58,7 +59,6 @@ SEO에 맞는 퀄리티 높은 포스팅을 만드는 것이 최우선 목표가
 한국어가 자연스럽게 하기 위해 아래[한국어 자연스럽게 하는 조건정리]를 바탕으로 모든 글을 작성해주셔야 합니다.
 글작성시 줄마다 줄 바꿈을 꼭 하여 보기좋게 작성하여야 하며, markdown 등을 활용하여 가독성 있게 작성할것.
 출력문에 "한자(중국어)", 일본어가 포함되어 출력시에는 반드시 "한글(한국어)"로 번역하여 출력되게 하라.
-
 [한국어 자연스럽게 하는 조건정리]
 1. 주제에 따른 문맥 이해에 맞는 글을 써주세요.
 2. 주제와 상황에 맞는 적절한 어휘 선택해주세요
@@ -75,7 +75,6 @@ SEO에 맞는 퀄리티 높은 포스팅을 만드는 것이 최우선 목표가
 13. 문장의 길이를 간결하게 해주세요
 14. 어휘의 난이도는 쉬운 용어를 중심으로 작성해주세요
 15. 이 글을 쓰는 목적은 사용 후기를 직접 사용한 것처럼 생생하게 알려주는 용도입니다.
-
 [본문내용]
 1. 각 챕터 시작하기 전에 [한국어 자연스럽게 조건정리]을 인지하시고 적용하는것이 우선입니다.
 2. 본문내용의 모든 내용은 생성하는것이 아니라 예시1~3을 기반으로 작성해야합니다.
@@ -110,3 +109,4 @@ SEO에 맞는 퀄리티 높은 포스팅을 만드는 것이 최우선 목표가
 
 if __name__ == "__main__":
     demo.launch()
+