Update app.py

app.py

@@ -239,23 +239,6 @@ function forceLightTheme() {
     document.documentElement.setAttribute('data-theme', 'light');
 }
 """
-
-demo = gr.Blocks()
-
-chat_demo_interface = gr.ChatInterface(
-    fn=chat,
-    description="""**Vintern-1B-v3.5** is the latest in the Vintern series, bringing major improvements over v2 across all benchmarks. 🚀 Fine-tuned from **InternVL-2.5-1B**, already strong in Vietnamese 🇻🇳 tasks thanks to Viet-ShareGPT-4o-Text-VQA data. This **continuous fine-tuning Version** enhances Vietnamese capabilities while retaining strong English performance. It excels in OCR, text recognition, and Vietnam-specific document understanding. 📄 However, users should be mindful of **potential biases** due to the training data. ⚠️""",
-    examples=[{"text": "Hãy viết một email giới thiệu sản phẩm trong ảnh.", "files":["./demo_3.jpg"]},
-              {"text": "Trích xuất các thông tin từ ảnh trả về markdown.", "files":["./demo_1.jpg"]}, 
-              {"text": "Bạn là nhân viên marketing chuyên nghiệp. Hãy viết một bài quảng cáo dài trên mạng xã hội giới thiệu về cửa hàng.", "files":["./demo_2.jpg"]},
-              {"text": "Trích xuất thông tin kiện hàng trong ảnh và trả về dạng JSON.", "files":["./demo_4.jpg"]}],
-    title="❄️ Vintern-1B-v3.5 Demo ❄️",
-    multimodal=True,
-    css=CSS,
-    js=js,
-    theme='NoCrypt/miku'
-)
-
 from transformers import pipeline
 
 pipe = pipeline("automatic-speech-recognition", model="openai/whisper-large-v3-turbo")
@@ -269,14 +252,32 @@ def transcribe_speech(filepath):
         },  
         chunk_length_s=30,
         batch_size=1,
+        device=device,
     )
     return output["text"]
-    
-mic_transcribe = gr.Interface(
-    fn=transcribe_speech,
-    inputs=gr.Audio(sources="microphone", type="filepath"),
-    outputs=gr.components.Textbox(),
-)
+        
+demo = gr.Blocks()
+
+with demo:
+    chat_demo_interface = gr.ChatInterface(
+        fn=chat,
+        description="""**Vintern-1B-v3.5** is the latest in the Vintern series, bringing major improvements over v2 across all benchmarks. 🚀 Fine-tuned from **InternVL-2.5-1B**, already strong in Vietnamese 🇻🇳 tasks thanks to Viet-ShareGPT-4o-Text-VQA data. This **continuous fine-tuning Version** enhances Vietnamese capabilities while retaining strong English performance. It excels in OCR, text recognition, and Vietnam-specific document understanding. 📄 However, users should be mindful of **potential biases** due to the training data. ⚠️""",
+        examples=[{"text": "Hãy viết một email giới thiệu sản phẩm trong ảnh.", "files":["./demo_3.jpg"]},
+                  {"text": "Trích xuất các thông tin từ ảnh trả về markdown.", "files":["./demo_1.jpg"]}, 
+                  {"text": "Bạn là nhân viên marketing chuyên nghiệp. Hãy viết một bài quảng cáo dài trên mạng xã hội giới thiệu về cửa hàng.", "files":["./demo_2.jpg"]},
+                  {"text": "Trích xuất thông tin kiện hàng trong ảnh và trả về dạng JSON.", "files":["./demo_4.jpg"]}],
+        title="❄️ Vintern-1B-v3.5 Demo ❄️",
+        multimodal=True,
+        css=CSS,
+        js=js,
+        theme='NoCrypt/miku'
+    )
+        
+    mic_transcribe = gr.Interface(
+        fn=transcribe_speech,
+        inputs=gr.Audio(sources="microphone", type="filepath"),
+        outputs=gr.components.Textbox(),
+    )
 
 # chat_demo_interface.queue()
-demo.launch()
+demo.queue().launch()