grok-2-tokenizer / special_tokens_map.json
alvarobartt's picture
alvarobartt HF Staff
Upload 4 files
798e0f3 verified
{
"additional_special_tokens": [
"<|pad|>",
"<|separator|>",
"<|eos|>",
"<|control1|>",
"<|control2|>",
"<|control3|>",
"<|control4|>",
"<|control5|>",
"<|control6|>",
"<|control7|>",
"<|control8|>",
"<|control9|>",
"<|control10|>",
"<|control11|>",
"<|control12|>",
"<|control13|>",
"<|control14|>",
"<|control15|>",
"<|control16|>",
"<|control17|>",
"<|control18|>",
"<|control19|>",
"<|control20|>",
"<|control21|>",
"<|control22|>",
"<|control23|>",
"<|control24|>",
"<|control25|>",
"<|control26|>",
"<|control27|>",
"<|control28|>",
"<|control29|>",
"<|control30|>",
"<|control31|>",
"<|control32|>",
"<|control33|>",
"<|control34|>",
"<|control35|>",
"<|control36|>",
"<|control37|>",
"<|control38|>",
"<|control39|>",
"<|control40|>",
"<|control41|>",
"<|control42|>",
"<|control43|>",
"<|control44|>",
"<|control45|>",
"<|control46|>",
"<|control47|>",
"<|control48|>",
"<|control49|>",
"<|control50|>",
"<|control51|>",
"<|control52|>",
"<|control53|>",
"<|control54|>",
"<|control55|>",
"<|control56|>",
"<|control57|>",
"<|control58|>",
"<|control59|>",
"<|control60|>",
"<|control61|>",
"<|control62|>",
"<|control63|>",
"<|control64|>",
"<|control65|>",
"<|control66|>",
"<|control67|>",
"<|control68|>",
"<|control69|>",
"<|control70|>",
"<|control71|>",
"<|control72|>",
"<|control73|>",
"<|control74|>",
"<|control75|>",
"<|control76|>",
"<|control77|>",
"<|control78|>",
"<|control79|>",
"<|control80|>",
"<|control81|>",
"<|control82|>",
"<|control83|>",
"<|control84|>",
"<|control85|>",
"<|control86|>",
"<|control87|>",
"<|control88|>",
"<|control89|>",
"<|control90|>",
"<|control91|>",
"<|control92|>",
"<|control93|>",
"<|control94|>",
"<|control95|>",
"<|control96|>",
"<|control97|>",
"<|control98|>",
"<|control99|>",
"<|control100|>",
"<|control101|>",
"<|control102|>",
"<|control103|>",
"<|control104|>",
"<|control105|>",
"<|control106|>",
"<|control107|>",
"<|control108|>",
"<|control109|>",
"<|control110|>",
"<|control111|>",
"<|control112|>",
"<|control113|>",
"<|control114|>",
"<|control115|>",
"<|control116|>",
"<|control117|>",
"<|control118|>",
"<|control119|>",
"<|control120|>",
"<|control121|>",
"<|control122|>",
"<|control123|>",
"<|control124|>",
"<|control125|>"
],
"eos_token": "<|eos|>",
"pad_token": "<|pad|>",
"sep_token": "<|separator|>"
}