Update app.py
Browse files
app.py
CHANGED
@@ -16,8 +16,32 @@ import torch
|
|
16 |
from tqdm import trange
|
17 |
import torch.nn.functional as F
|
18 |
client = OpenAI(
|
19 |
-
api_key='sk-proj-
|
20 |
)
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
21 |
def cleaning_input(input_text):
|
22 |
from html import unescape
|
23 |
text = str(input_text)
|
@@ -361,7 +385,7 @@ def summary(text, lang):
|
|
361 |
print(f"Number of chunks: {len(chunks)}")
|
362 |
|
363 |
for t in chunks:
|
364 |
-
generated_summary =
|
365 |
rs += generated_summary + " "
|
366 |
text = ""
|
367 |
for t in chunks:
|
|
|
16 |
from tqdm import trange
|
17 |
import torch.nn.functional as F
|
18 |
client = OpenAI(
|
19 |
+
api_key='sk-proj-Yzjez2g6rfAiVPpb3cfJT3BlbkFJRLU4ZQpMhyLJDf0XksF4'
|
20 |
)
|
21 |
+
|
22 |
+
def generate_response(article_text, lang ):
|
23 |
+
messages=[
|
24 |
+
{"role": "system", "content": "You are an expert in summarizing text in two languages: English and Vietnamese"},
|
25 |
+
{"role": "user", "content": f"summarize the following text professionally and return the summary according to the input language:\n{article_text}\nSummary:"}
|
26 |
+
]
|
27 |
+
if lang == 'vi':
|
28 |
+
messages=[
|
29 |
+
{"role": "system", "content": "Bạn là chuyên gia tóm tắt văn bản bằng hai ngôn ngữ: tiếng Anh và tiếng Việt"},
|
30 |
+
{"role": "user", "content": f"hãy tóm tắt văn bản sau đây một cách chuyên nghiệp và trả về bản tóm tắt theo ngôn ngữ đầu vào:\n{article_text}\nBản Tóm tắt:"}
|
31 |
+
]
|
32 |
+
response = client.chat.completions.create(
|
33 |
+
model='ft:gpt-3.5-turbo-0125:personal::9eZjpJwa' ,
|
34 |
+
messages=messages,
|
35 |
+
max_tokens=150, # Tăng lên để có thêm không gian cho tóm tắt
|
36 |
+
temperature=0.3, # Giảm xuống để tạo ra nội dung tập trung hơn
|
37 |
+
top_p=0.95, # Tăng nhẹ để mở rộng phạm vi từ vựng
|
38 |
+
frequency_penalty=0.5, # Tăng lên để khuyến khích đa dạng từ ngữ
|
39 |
+
presence_penalty=0.5 # Tăng lên để khuyến khích đề cập đến các chủ đề mới
|
40 |
+
)
|
41 |
+
|
42 |
+
# Extract and return the generated summary
|
43 |
+
summary = response.choices[0].message.content.strip()
|
44 |
+
return summary
|
45 |
def cleaning_input(input_text):
|
46 |
from html import unescape
|
47 |
text = str(input_text)
|
|
|
385 |
print(f"Number of chunks: {len(chunks)}")
|
386 |
|
387 |
for t in chunks:
|
388 |
+
generated_summary = generate_response(t, lang)
|
389 |
rs += generated_summary + " "
|
390 |
text = ""
|
391 |
for t in chunks:
|