Update app.py

app.py

@@ -101,7 +101,7 @@ def load_image(image_file, input_size=448, max_num=12):
 
 model = AutoModel.from_pretrained(
     "5CD-AI/Vintern-1B-v3_5",
-    torch_dtype=torch.bfloat16,
+    torch_dtype=torch.float32,
     low_cpu_mem_usage=True,
     trust_remote_code=True,
 ).eval().cuda()
@@ -122,12 +122,12 @@ We currently only support one image at the start of the context! Please start a
             test_image = message["files"][0]["path"]
         else:
             test_image = message["files"][0]
-        pixel_values = load_image(test_image, max_num=6).to(torch.bfloat16).cuda()
+        pixel_values = load_image(test_image, max_num=6).cuda()
     elif len(history) == 0 and len(message["files"]) == 0:
         pixel_values = None     
     elif history[0][0][0] is not None and os.path.isfile(history[0][0][0]):
         test_image = history[0][0][0]
-        pixel_values = load_image(test_image, max_num=6).to(torch.bfloat16).cuda()
+        pixel_values = load_image(test_image, max_num=6).cuda()
     else:
         pixel_values = None 
         
@@ -245,7 +245,7 @@ demo = gr.ChatInterface(
     description="""**Vintern-1B-v3.5** is the latest in the Vintern series, bringing major improvements over v2 across all benchmarks. 🚀 Fine-tuned from **InternVL-2.5-1B**, already strong in Vietnamese 🇻🇳 tasks thanks to Viet-ShareGPT-4o-Text-VQA data. This **continuous fine-tuning Version** enhances Vietnamese capabilities while retaining strong English performance. It excels in OCR, text recognition, and Vietnam-specific document understanding. 📄 However, users should be mindful of **potential biases** due to the training data. ⚠️""",
     examples=[{"text": "Mô tả hình ảnh.", "files":["./demo_3.jpg"]},
               {"text": "Trích xuất các thông tin từ ảnh trả về markdown.", "files":["./demo_1.jpg"]}, 
-              {"text": "Bạn là nhân viên marketing chuyên nghiệp. Hãy viết một bài quảng cáo dài trên mạng xã hội giới thiệu về cửa hàng với nhiều emoji vui nhộn.", "files":["./demo_2.jpg"]},
+              {"text": "Bạn là nhân viên marketing chuyên nghiệp. Hãy viết một bài quảng cáo dài trên mạng xã hội giới thiệu về cửa hàng.", "files":["./demo_2.jpg"]},
               {"text": "Trích xuất thông tin kiện hàng trong ảnh và trả về dạng JSON.", "files":["./demo_4.jpg"]}],
     title="❄️ Vintern-1B-v3.5 Demo ❄️",
     multimodal=True,