Upload 4 files

.env

@@ -0,0 +1,2 @@
+# 智谱 API 访问密钥配置
+ZHIPUAI_API_KEY = "c9bc35e8e7c1c076a8aaba862efb19af.DhiaibnU9Mys34de"

app.py

@@ -0,0 +1,113 @@
+from transformers import pipeline
+import gradio as gr
+import numpy as np
+import time
+import json
+import os
+from langchain_openai import ChatOpenAI
+from langchain_core.output_parsers import StrOutputParser
+from dotenv import load_dotenv
+
+load_dotenv()
+zhipuai_api_key = os.getenv("ZHIPUAI_API_KEY")
+
+# 使用中文Whisper模型
+transcriber = pipeline("automatic-speech-recognition", model="openai/whisper-small")
+
+# 初始化对话记录
+conversation = []
+current_speaker = "患者"
+
+def transcribe(audio):
+    global current_speaker
+    if audio is None:
+        return ""
+    
+    sr, y = audio
+    
+    # 转换为单声道
+    if y.ndim > 1:
+        y = y.mean(axis=1)
+        
+    y = y.astype(np.float32)
+    y /= np.max(np.abs(y))
+
+    # 使用中文进行转录
+    result = transcriber({"sampling_rate": sr, "raw": y}, generate_kwargs={"language": "chinese"})
+    text = result["text"].strip()
+
+    # 创建结构化数据
+    if text:
+        current_time = time.strftime("%Y-%m-%d %H:%M:%S", time.localtime())
+        conversation.append({
+            "时间": current_time,
+            "角色": current_speaker,
+            "内容": text
+        })
+        
+        # 切换说话者
+        current_speaker = "医生" if current_speaker == "患者" else "患者"
+
+    # 将对话记录转换为格式化的字符串
+    formatted_conversation = json.dumps(conversation, ensure_ascii=False, indent=2)
+    return formatted_conversation
+
+def switch_speaker():
+    global current_speaker
+    current_speaker = "医生" if current_speaker == "患者" else "患者"
+    return f"当前说话者：{current_speaker}"
+
+def generate_memo(conversation_json):
+    llm = ChatOpenAI(
+        model="glm-3-turbo",
+        temperature=0.7, 
+        openai_api_key=zhipuai_api_key,
+        openai_api_base="https://open.bigmodel.cn/api/paas/v4/"
+    )
+    
+    prompt = f"""
+    请根据以下医生和患者的对话，生成一份结构化的备忘录。备忘录应包含以下字段：主诉、检查、诊断、治疗和备注。
+    如果某个字段在对话中没有明确提及，请填写"未提及"。
+
+    对话内容：
+    {conversation_json}
+
+    请以JSON格式输出备忘录，格式如下：
+    {{
+        "主诉": "患者的主要症状和不适",
+        "检查": "医生建议或已进行的检查",
+        "诊断": "医生对患者的诊断",
+        "治疗": "医生对患者的治疗建议",
+        "备注": "医生对患者的备注"
+    }}
+    """
+    
+    output = llm.invoke(prompt)
+    output_parser = StrOutputParser()
+    output = output_parser.invoke(output)
+    #st.info(output)
+    return output
+
+
+# 创建Gradio界面
+with gr.Blocks() as demo:
+    gr.Markdown("# 实时中文对话转录与备忘录生成")
+    gr.Markdown("点击麦克风图标开始录音，说话后会自动进行语音识别。支持中文识别。")
+    
+    with gr.Row():
+        audio_input = gr.Audio(source="microphone", type="numpy", streaming=True)
+        speaker_button = gr.Button("切换说话者")
+    
+    speaker_label = gr.Label("当前说话者：患者")
+    conversation_output = gr.JSON(label="对话记录")
+    memo_output = gr.JSON(label="备忘录")
+    
+    generate_memo_button = gr.Button("生成备忘录")
+    
+    audio_input.stream(transcribe, inputs=[audio_input], outputs=[conversation_output])
+    speaker_button.click(switch_speaker, outputs=[speaker_label])
+    generate_memo_button.click(generate_memo, inputs=[conversation_output], outputs=[memo_output])
+
+if __name__ == "__main__":
+    demo.launch()
+

readme.md

@@ -0,0 +1,4 @@
+1. 这是一个基于streamlit的web app，是一个临床助手
+2. 首先，将医生和患者的对话转录成文本，输出成结构化文本，即{'时间', '角色', '内容'}
+3. 然后，调用chatglm大模型，对结构化文本进行处理，输出一个结构化的memo，包含{'主诉', '检查', '诊断', '治疗', '备注'}
+4. 最后，将memo返回给医生，医生可以对memo进行修改，然后下载

requirements.txt

@@ -0,0 +1,5 @@
+transformers==4.28.1
+gradio==3.28.1
+numpy==1.22.4
+torch==1.13.1
+