stepfun-ai-Step-3.5-Flash.F16.Q4_K_M.gguf

Overview (EN)

This repository provides a q4_k_m-quantized GGUF file derived from stepfun-ai/Step-3.5-Flash.

Quick Start (llama.cpp)

./build/bin/llama-cli -m stepfun-ai-Step-3.5-Flash.F16.Q4_K_M.gguf -p "Hello"

Quantization

  • Format: GGUF
  • Method: q4_k_m
  • File: stepfun-ai-Step-3.5-Flash.F16.Q4_K_M.gguf
  • Size: ~110.44 GB

Provenance

  • Base model: stepfun-ai/Step-3.5-Flash

Note: This repo contains inference-only quantized weights. Respect the upstream license and usage terms.


Présentation (FR)

Ce dépôt fournit un fichier GGUF q4_k_m issu de stepfun-ai/Step-3.5-Flash.

Démarrage rapide (llama.cpp)

./build/bin/llama-cli -m stepfun-ai-Step-3.5-Flash.F16.Q4_K_M.gguf -p "Bonjour"

Quantification

  • Format : GGUF
  • Méthode : q4_k_m
  • Fichier : stepfun-ai-Step-3.5-Flash.F16.Q4_K_M.gguf
  • Taille : ~110.44 Go

Provenance

  • Modèle amont : stepfun-ai/Step-3.5-Flash

Remarque : Ce dépôt contient uniquement des poids quantifiés pour l'inférence. Merci de respecter la licence et les conditions d'utilisation du modèle d'origine.

Downloads last month
132
GGUF
Model size
197B params
Architecture
step35
Hardware compatibility
Log In to add your hardware

4-bit

Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for ramgpt/Step-3.5-Flash-GGUF-Q4_K_M

Quantized
(20)
this model