Sakalti commited on
Commit
56f6207
·
verified ·
1 Parent(s): 8d3e4d3

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +6 -5
app.py CHANGED
@@ -4,9 +4,10 @@ from llama_cpp import Llama
4
  import requests
5
  from tqdm import tqdm
6
 
7
- # モデルファイルURL(Mistral-Nemo-Japanese-Instruct-2408-GGUF)
8
  MODEL_URL = "https://huggingface.co/mradermacher/Saka-14B-GGUF/resolve/main/Saka-14B.Q4_K_M.gguf"
9
- MODEL_PATH = "Saka-14B.Q4_K_M.gguf"
 
10
  def download_model(url=MODEL_URL, path=MODEL_PATH):
11
  os.makedirs(os.path.dirname(path), exist_ok=True)
12
  if os.path.exists(path):
@@ -27,7 +28,7 @@ def download_model(url=MODEL_URL, path=MODEL_PATH):
27
  bar.update(size)
28
  print("モデルのダウンロードが完了しました。")
29
 
30
- # モデルのダウンロード(初回起動時)
31
  download_model()
32
 
33
  # モデルロード
@@ -56,13 +57,13 @@ def chat_interface(user_input, history, temperature, top_p, max_tokens):
56
  return history, history
57
 
58
  with gr.Blocks() as demo:
59
- gr.Markdown("# Saka GGUF 日本語チャット")
60
  chatbot = gr.Chatbot()
61
  user_input = gr.Textbox(placeholder="質問をどうぞ", label="あなたの入力")
62
 
63
  temperature = gr.Slider(minimum=0.0, maximum=1.0, value=0.7, step=0.05, label="Temperature(創造性)")
64
  top_p = gr.Slider(minimum=0.1, maximum=1.0, value=0.8, step=0.05, label="Top-p(確率の上位何%から生成するか)")
65
- max_tokens = gr.Slider(minimum=16, maximum=1024, value=256, step=16, label="最大トークン数")
66
 
67
  history = gr.State([])
68
 
 
4
  import requests
5
  from tqdm import tqdm
6
 
7
+ # ご自身のモデルURLと保存先パス
8
  MODEL_URL = "https://huggingface.co/mradermacher/Saka-14B-GGUF/resolve/main/Saka-14B.Q4_K_M.gguf"
9
+ MODEL_PATH = "models/Saka-14B.Q4_K_M.gguf"
10
+
11
  def download_model(url=MODEL_URL, path=MODEL_PATH):
12
  os.makedirs(os.path.dirname(path), exist_ok=True)
13
  if os.path.exists(path):
 
28
  bar.update(size)
29
  print("モデルのダウンロードが完了しました。")
30
 
31
+ # モデルのダウンロード(初回のみ実行)
32
  download_model()
33
 
34
  # モデルロード
 
57
  return history, history
58
 
59
  with gr.Blocks() as demo:
60
+ gr.Markdown("# Saka-14B GGUF 日本語チャット")
61
  chatbot = gr.Chatbot()
62
  user_input = gr.Textbox(placeholder="質問をどうぞ", label="あなたの入力")
63
 
64
  temperature = gr.Slider(minimum=0.0, maximum=1.0, value=0.7, step=0.05, label="Temperature(創造性)")
65
  top_p = gr.Slider(minimum=0.1, maximum=1.0, value=0.8, step=0.05, label="Top-p(確率の上位何%から生成するか)")
66
+ max_tokens = gr.Slider(minimum=16, maximum=2048, value=512, step=16, label="最大トークン数")
67
 
68
  history = gr.State([])
69