Update interence_test_with_intent_detection.py

interence_test_with_intent_detection.py

@@ -1,4 +1,4 @@
-# intent_detection_service.py (Geliştirilmiş: Fine-tune + Intent + LLM)
+# Fine-tune + Intent + LLM + System Prompt
 import os
 import json
 import re
@@ -27,7 +27,6 @@ from transformers import (
 )
 from peft import PeftModel
 
-# === Ayarlar ===
 HF_TOKEN = os.getenv("HF_TOKEN")
 MODEL_BASE = "malhajar/Mistral-7B-Instruct-v0.2-turkish"
 USE_FINE_TUNE = False
@@ -51,10 +50,8 @@ model = None
 tokenizer = None
 chat_history = []
 
-# === FastAPI Uygulaması ===
 app = FastAPI()
 
-# === Yardımcı Fonksiyonlar ===
 def log(msg):
     print(f"[{datetime.now().strftime('%H:%M:%S')}] {msg}", flush=True)
 
@@ -95,7 +92,7 @@ def root():
         </script>
     </body>
     </html>
-"""
+    """
 
 @app.post("/train_intents")
 def train_intents(train_input: TrainInput):
@@ -165,7 +162,10 @@ async def detect_intent(text):
     return id2label[pred_id]
 
 async def generate_response(text):
-    messages = [{"role": "user", "content": text}]
+    messages = [
+        {"role": "system", "content": "Sen yardımcı bir Türkçe yapay zeka asistanısın. Soruları açık ve doğru şekilde yanıtla."},
+        {"role": "user", "content": text}
+    ]
     inputs = tokenizer.apply_chat_template(messages, return_tensors="pt", add_generation_prompt=True)
     inputs = {k: v.to(model.device) for k, v in inputs.items()}
     generate_args = {
@@ -220,7 +220,6 @@ async def chat(input: ChatInput):
         traceback.print_exc()
         return JSONResponse(content={"error": str(e)}, status_code=500)
 
-# === Model setup ===
 def setup_model():
     global model, tokenizer
     try:
@@ -250,7 +249,6 @@ def setup_model():
         log(f"❌ LLM model yükleme hatası: {e}")
         traceback.print_exc()
 
-# === Sunucu başlat ===
 def run():
     log("===== Application Startup =====")
     threading.Thread(target=setup_model, daemon=True).start()
@@ -258,4 +256,5 @@ def run():
     while True:
         time.sleep(60)
 
+# Uygulamayı çalıştır
 run()