Update main.py

main.py

@@ -5,31 +5,48 @@ from gradio_client import Client
 import uvicorn
 import time
 import uuid
+import logging
+import json
 
-# ==== Инициализация Gradio Client ====
-gr_client = Client("Nymbo/Serverless-TextGen-Hub")
+# === Настройка логгера ===
+logging.basicConfig(level=logging.INFO, format="%(asctime)s [%(levelname)s] %(message)s")
+logger = logging.getLogger(__name__)
 
-# ==== Функция обращения к нейросети ====
+# === Подключаемся к Gradio Space напрямую по URL ===
+try:
+    gr_client = Client("https://nymbo-serverless-textgen-hub.hf.space")
+except Exception as e:
+    logger.error(f"Ошибка при подключении к Gradio Client: {e}")
+    gr_client = None
+
+# === Вызов нейросети ===
 def ask(user_prompt, system_prompt, model):
-    result = gr_client.predict(
-        history=[[user_prompt, None]],
-        system_msg=system_prompt,
-        max_tokens=512,
-        temperature=0.7,
-        top_p=0.95,
-        freq_penalty=0,
-        seed=-1,
-        custom_model=model,
-        search_term="",
-        selected_model=model,
-        api_name="/bot"
-    )
-    return result
+    if not gr_client:
+        return "[Ошибка: Gradio Client не инициализирован]"
+    
+    try:
+        result = gr_client.predict(
+            history=[[user_prompt, None]],
+            system_msg=system_prompt,
+            max_tokens=512,
+            temperature=0.7,
+            top_p=0.95,
+            freq_penalty=0,
+            seed=-1,
+            custom_model=model,
+            search_term="",
+            selected_model=model,
+            api_name="/bot"
+        )
+        return result
+    except Exception as e:
+        logger.error(f"Ошибка при вызове Gradio predict: {e}")
+        return f"[Ошибка: {str(e)}]"
 
-# ==== FastAPI приложение ====
+# === Инициализация FastAPI ===
 app = FastAPI()
 
-# ==== Модели запросов/ответов ====
+# === Pydantic модели ===
 class Message(BaseModel):
     role: Literal["user", "assistant", "system"]
     content: str
@@ -40,26 +57,39 @@ class ChatRequest(BaseModel):
     temperature: Optional[float] = 0.7
     top_p: Optional[float] = 0.95
     max_tokens: Optional[int] = 512
-    # остальные параметры можно добавить при необходимости
 
+# === Основной маршрут ===
 @app.post("/v1/chat/completions")
-async def chat_completion(request: ChatRequest):
-    # Извлекаем последнее сообщение от пользователя
-    user_msg = next((m.content for m in reversed(request.messages) if m.role == "user"), None)
-    system_msg = next((m.content for m in request.messages if m.role == "system"), "You are a helpful AI assistant.")
+async def chat_completion(request: Request):
+    # Логгируем заголовки и тело запроса
+    headers = dict(request.headers)
+    body = await request.body()
+    logger.info("== Входящий запрос ==")
+    logger.info(f"Заголовки: {headers}")
+    logger.info(f"Тело: {body.decode('utf-8')}")
+
+    try:
+        data = await request.json()
+        chat_request = ChatRequest(**data)
+    except Exception as e:
+        logger.error(f"Ошибка парсинга запроса: {e}")
+        return {"error": "Некорректный JSON"}
+
+    # Извлекаем сообщения
+    user_msg = next((m.content for m in reversed(chat_request.messages) if m.role == "user"), None)
+    system_msg = next((m.content for m in chat_request.messages if m.role == "system"), "You are a helpful AI assistant.")
 
     if not user_msg:
         return {"error": "User message not found."}
 
-    # Получаем ответ от модели
-    assistant_reply = ask(user_msg, system_msg, request.model)
+    # Ответ от модели
+    assistant_reply = ask(user_msg, system_msg, chat_request.model)
 
-    # Формируем ответ в стиле OpenAI API
     response = {
         "id": f"chatcmpl-{uuid.uuid4().hex[:12]}",
         "object": "chat.completion",
         "created": int(time.time()),
-        "model": request.model,
+        "model": chat_request.model,
         "choices": [
             {
                 "index": 0,
@@ -71,7 +101,7 @@ async def chat_completion(request: ChatRequest):
             }
         ],
         "usage": {
-            "prompt_tokens": 0,   # Можно вычислить при необходимости
+            "prompt_tokens": 0,
             "completion_tokens": 0,
             "total_tokens": 0
         }
@@ -79,6 +109,6 @@ async def chat_completion(request: ChatRequest):
 
     return response
 
-# ==== Запуск сервера ====
+# === Запуск сервера ===
 if __name__ == "__main__":
     uvicorn.run("local_openai_server:app", host="0.0.0.0", port=7860, reload=True)