Update app.py

app.py

@@ -10,6 +10,8 @@ import sys
 from huggingface_hub import snapshot_download
 from llama_cpp import Llama
 
+device = "gpu"
+
 
 SYSTEM_PROMPT = "Ты — Сайга, русскоязычный автоматический ассистент. Ты разговариваешь с людьми и помогаешь им."
 SYSTEM_TOKEN = 1587
@@ -47,6 +49,7 @@ model = Llama(
     model_path=model_name,
     n_ctx=2000,
     n_parts=1,
+    n_gpu_layers=30,
 )
 
 max_new_tokens = 1500