|
|
--- |
|
|
library_name: transformers |
|
|
base_model: |
|
|
- openai/gpt-oss-20b |
|
|
license: apache-2.0 |
|
|
language: |
|
|
- en |
|
|
pipeline_tag: text-generation |
|
|
--- |
|
|
|
|
|
## <u>モデル情報</u> |
|
|
|
|
|
- このモデルは[openai/gpt-oss-20b](https://huggingface.co/openai/gpt-oss-20b)を[llama.cpp](https://github.com/ggml-org/llama.cpp)でGGUF化したものです。 |
|
|
- 同じディレクトリに含まれる各種Modefileを利用して、ローカルのOllamaで利用することができます。 |
|
|
- Modefleのシステムプロンプトや各種パラメーターを変更することで、高度な調整を反映できます。 |
|
|
|
|
|
## <u>オプション：簡単な調整方法</u> |
|
|
|
|
|
- 高度な調整は不要だが、パラメーターの調整を実施したい場合は次のような流れで簡単に調整することができます。 |
|
|
|
|
|
```bash |
|
|
# 通常のopenai/gpt-oss-20bをダウンロードして実行 |
|
|
ollama run gpt-oss:20b |
|
|
|
|
|
# 例)コンテキスト長を64000に設定 |
|
|
/set parameter num_ctx 64000 |
|
|
|
|
|
# モデルを新しい名前で保存 |
|
|
/save gpt-oss:20b-64k |
|
|
|
|
|
# Ollamaを終了 |
|
|
/bye |
|
|
|
|
|
# 保存したモデルで実行 |
|
|
ollama run gpt-oss:20b-64k |
|
|
``` |
|
|
|
|
|
**パラメーターの設定例** |
|
|
|
|
|
```bash |
|
|
/set parameter num_ctx 64000 # コンテキスト長を64000に設定 |
|
|
/set parameter temperature 0.5 # 温度を0.5に設定 |
|
|
/set parameter top_p 0.9 # top_pを0.9に設定 |
|
|
/set parameter top_k 40 # top_kを40に設定 |
|
|
/set parameter num_predict 4096 # 最大生成トークン数を4096に設定 |
|
|
``` |
|
|
|
|
|
## <u>使い方</u> |
|
|
|
|
|
**ファイルのダウンロード** |
|
|
|
|
|
```python |
|
|
from huggingface_hub import snapshot_download |
|
|
snapshot_download(repo_id="yasutoshi-lab/gpt-oss-20b-gguf", local_dir="./model") |
|
|
``` |
|
|
|
|
|
**ビルド** |
|
|
|
|
|
```bash |
|
|
# コンテキスト長:120k, 温度:1, デフォルト推論モード:lowを作成する場合 |
|
|
ollama create gpt-oss-20b:120k-low-thinking -f ./model/gpt-oss-20b-120k-low-thinking.Modefile |
|
|
|
|
|
# コンテキスト長:120k, 温度:1, デフォルト推論モード:mediumを作成する場合 |
|
|
ollama create gpt-oss-20b:120k-medium-thinking -f ./model/gpt-oss-20b-120k-medium-thinking.Modefile |
|
|
|
|
|
# コンテキスト長:120k, 温度:1, デフォルト推論モード:highを作成する場合 |
|
|
ollama create gpt-oss-20b:120k-high-thinking -f ./model/gpt-oss-20b-120k-high-thinking.Modefile |
|
|
``` |
|
|
|
|
|
**推論実行** |
|
|
|
|
|
```bash |
|
|
# コンテキスト長:120k, 温度:1, デフォルト推論モード:lowを実行する場合 |
|
|
ollama run gpt-oss-20b:120k-low-thinking |
|
|
|
|
|
# コンテキスト長:120k, 温度:1, デフォルト推論モード:mediumを実行する場合 |
|
|
ollama run gpt-oss-20b:120k-medium-thinking |
|
|
|
|
|
# コンテキスト長:120k, 温度:1, デフォルト推論モード:highを実行する場合 |
|
|
ollama run gpt-oss-20b:120k-high-thinking |
|
|
``` |
|
|
|
|
|
## <u>トラブルシューティング</u> |
|
|
|
|
|
**エラー** |
|
|
|
|
|
- "toTypeScriptType"が発生 |
|
|
|
|
|
```bash |
|
|
# ビルドコマンドの実行 |
|
|
ubuntu@ubuntu:~$ ollama create gpt-oss-20b:120k-low-thinking -f ./model/gpt-oss-20b-120k-low-thinking.Modefil |
|
|
|
|
|
# ターミナルの出力 |
|
|
gathering model components |
|
|
copying file sha256:7580f705e503c7a5a8a4cedc1d2bed8a3a1a4d5303190c63c7630f722f8c646f 100% |
|
|
parsing GGUF |
|
|
Error: template error: template: :109: function "toTypeScriptType" not defined |
|
|
``` |
|
|
|
|
|
**解決方法** |
|
|
|
|
|
- 古いバージョンでは対応していないため、Ollamaのバージョンを最新にする |
|
|
|
|
|
[Download Ollama](https://ollama.com/download/mac) |
|
|
[Download Linux](https://ollama.com/download/linux) |
|
|
[Download windows](https://ollama.com/download/windows) |
