Update app.py

app.py

@@ -34,92 +34,36 @@
 
 # # Afficher l'image de test par défaut lorsque l'interface est ouverte
 # iface.launch(share=True, inline=True)
-import gradio as gr # 导入 Gradio 库，用于创建基于 Web 的用户界面
-from segmentation import segment_image # 从 'segmentation.py' 文件中导入自定义的图像分割函数 segment_image
-import numpy as np # 导入 NumPy 库，用于数值操作，特别是图像数据处理
-import cv2 # 导入 OpenCV 库，用于图像处理任务（尽管在 Gradio 部分未直接使用，但在 segment_image 中很可能被使用）
-import requests # 导入 requests 库，用于向外部 API 发送 HTTP 请求
-import base64 # 导入 base64 库，用于图像数据的编码和解码
+import gradio as gr
+from segmentation import segment_image
+from medgemma_api import query_medgemma
+import os
 
-# 定义图像分割函数
-def segment_and_display(image_path):
-    # 调用 segment_image 函数（来自 segmentation.py）获取原始图像和分割后的图像
-    original_image, segmented_image = segment_image(image_path)
-    # 返回原始图像、分割后的图像以及图像路径，供后续分析使用
-    return original_image, segmented_image, image_path
+# 默认图片路径
+default_image_path = "./image.png"
 
-# 定义使用 MedGemma API 进行专业分析的函数
-def analyze_image_with_question(image_path, question):
-    # 以二进制读取模式打开图像文件
-    with open(image_path, "rb") as img_file:
-        # 读取图像内容为字节
-        image_bytes = img_file.read()
-        # 将图像字节编码为 base64 字符串，并解码为 UTF-8 格式，以便通过 API 传输
-        image_base64 = base64.b64encode(image_bytes).decode("utf-8")
+def segment_only(image_path):
+    _, segmented_image = segment_image(image_path)
+    return segmented_image
 
-    # 构造用于 API 请求的 JSON 数据体
-    payload = {
-        "inputs": {
-            "image": image_base64, # 包含 base64 编码的图像数据
-            "text": question # 包含用户的提问
-        }
-    }
+def analyze_with_medgemma(image, question):
+    return query_medgemma(image, question)
 
-    # 定义 API 请求的 HTTP 头，包括授权令牌
-    headers = {
-        "Authorization": "Bearer api"  # 占位符：请替换为你的实际 HuggingFace API 访问令牌
-    }
-
-    # 向 MedGemma API 终端发送 POST 请求
-    response = requests.post("https://api-inference.huggingface.co/models/google/medgemma-4b-it",
-                             headers=headers, json=payload)
-
-    # 检查 API 请求是否成功（状态码为 200）
-    if response.status_code == 200:
-        # 解析 API 返回的 JSON 响应
-        result = response.json()
-        # 提取并返回 API 响应中生成的文本
-        return result[0]["generated_text"]
-    else:
-        # 如果 API 请求失败，返回错误消息，包括状态码和响应文本
-        return f"Error: {response.status_code} - {response.text}"
-
-# 使用 Gradio Blocks 组件创建界面，以实现自定义布局
-with gr.Blocks() as iface:
-    # 在界面中添加一个 Markdown 标题
-    gr.Markdown("# 🧠 医学图像分割 + 专家分析")
-    # 创建一个行，用于水平排列组件
+with gr.Blocks() as demo:
     with gr.Row():
-        # 为图像输入创建一个列
-        with gr.Column():
-            # 图像输入组件，允许文件上传，type="filepath" 表示函数将接收临时文件的路径
-            image_input = gr.Image(type="filepath", label="上传皮肤图像")
-        # 为显示输出图像创建另一个列
-        with gr.Column():
-            # 用于显示原始图像的输出组件（NumPy 数组）
-            original_output = gr.Image(type="numpy", label="原始图像")
-            # 用于显示分割后图像的输出组件（NumPy 数组）
-            segmented_output = gr.Image(type="numpy", label="分割后图像")
+        with gr.Column(scale=1):
+            image_input = gr.Image(type="filepath", label="Upload Image")
+            segmented_output = gr.Image(type="numpy", label="Segmented Image")
 
-    # 一个 Gradio State 组件，用于在函数调用之间存储图像文件路径
-    image_path_state = gr.State()
+            image_input.change(fn=segment_only, inputs=image_input, outputs=segmented_output)
 
-    # 当 image_input 组件发生变化时（即上传新图像时）定义一个动作
-    image_input.change(fn=segment_and_display, # 调用 segment_and_display 函数
-                       inputs=image_input, # 将 image_input 组件作为输入传递
-                       outputs=[original_output, segmented_output, image_path_state]) # 更新这些输出组件
+        with gr.Column(scale=2):
+            chatbot = gr.Textbox(label="Ask MedGemma", placeholder="Enter your medical question...")
+            image_for_analysis = gr.Image(type="filepath", label="Upload image for analysis (optional)")
+            analyze_button = gr.Button("Analyze")
+            response_output = gr.Textbox(label="Response")
 
-    # 为第二部分添加另一个 Markdown 标题
-    gr.Markdown("## 🩺 询问上传图像相关的医学问题")
-    # 文本框，供用户输入医学问题
-    question_input = gr.Textbox(label="输入你的问题（例如：'这是什么类型的病变？'）")
-    # 文本框，用于显示 MedGemma 的回答
-    answer_output = gr.Textbox(label="MedGemma 回答")
+            analyze_button.click(fn=analyze_with_medgemma, inputs=[image_for_analysis, chatbot], outputs=response_output)
 
-    # 当 question_input 文本框被提交时（例如，按 Enter 键时）定义一个动作
-    question_input.submit(fn=analyze_image_with_question, # 调用 analyze_image_with_question 函数
-                          inputs=[image_path_state, question_input], # 传递存储的图像路径和问题
-                          outputs=answer_output) # 更新 answer_output 文本框
+demo.launch()
 
-# 启动 Gradio 界面
-iface.launch()