Hugging Face's logo

IngeniousArtist
/
llama2-finance

Generated from Trainer
Model card Files
xet
Community
IngeniousArtist commited on
Commit
6a95d77
Β·
1 Parent(s): 878bfc0

Training in progress, epoch 0

Browse files
Files changed (5) hide show
  1. adapter_model.bin +1 -1
  2. special_tokens_map.json +3 -3
  3. tokenizer.json +105 -100
  4. tokenizer_config.json +4 -6
  5. training_args.bin +1 -1
adapter_model.bin CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:98c682f96f210d1e4e39e39a1949b8640025c294fb0c682a34d0cc3bbd964f9f
3
  size 16822989
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:ca78210280a26825766b0cdef22d0dba12f904fec41997874075dd8330bc6ebb
3
  size 16822989
special_tokens_map.json CHANGED
@@ -2,14 +2,14 @@
2
  "bos_token": {
3
  "content": "<s>",
4
  "lstrip": false,
5
- "normalized": false,
6
  "rstrip": false,
7
  "single_word": false
8
  },
9
  "eos_token": {
10
  "content": "</s>",
11
  "lstrip": false,
12
- "normalized": false,
13
  "rstrip": false,
14
  "single_word": false
15
  },
@@ -17,7 +17,7 @@
17
  "unk_token": {
18
  "content": "<unk>",
19
  "lstrip": false,
20
- "normalized": false,
21
  "rstrip": false,
22
  "single_word": false
23
  }
 
2
  "bos_token": {
3
  "content": "<s>",
4
  "lstrip": false,
5
+ "normalized": true,
6
  "rstrip": false,
7
  "single_word": false
8
  },
9
  "eos_token": {
10
  "content": "</s>",
11
  "lstrip": false,
12
+ "normalized": true,
13
  "rstrip": false,
14
  "single_word": false
15
  },
 
17
  "unk_token": {
18
  "content": "<unk>",
19
  "lstrip": false,
20
+ "normalized": true,
21
  "rstrip": false,
22
  "single_word": false
23
  }
tokenizer.json CHANGED
@@ -1,6 +1,11 @@
1
  {
2
  "version": "1.0",
3
- "truncation": null,
 
 
 
 
 
4
  "padding": null,
5
  "added_tokens": [
6
  {
@@ -9,7 +14,7 @@
9
  "single_word": false,
10
  "lstrip": false,
11
  "rstrip": false,
12
- "normalized": false,
13
  "special": true
14
  },
15
  {
@@ -18,7 +23,7 @@
18
  "single_word": false,
19
  "lstrip": false,
20
  "rstrip": false,
21
- "normalized": false,
22
  "special": true
23
  },
24
  {
@@ -27,7 +32,7 @@
27
  "single_word": false,
28
  "lstrip": false,
29
  "rstrip": false,
30
- "normalized": false,
31
  "special": true
32
  }
33
  ],
@@ -93266,126 +93271,126 @@
93266
  "▁livre s",
93267
  "lu b",
93268
  "l ub",
93269
- "▁ ▁",
93270
  "▁▁ ▁▁",
93271
- "▁▁▁ ▁",
93272
- "▁ ▁▁▁",
 
93273
  "▁▁ ▁▁▁▁▁▁",
93274
- "▁▁▁▁ ▁▁▁▁",
93275
- "▁▁▁▁▁ ▁▁▁",
93276
- "▁▁▁▁▁▁ ▁▁",
93277
- "▁▁▁ ▁▁▁▁▁",
93278
- "▁▁▁▁▁▁▁ ▁",
93279
- "▁ ▁▁▁▁▁▁▁",
93280
- "▁▁ ▁▁▁",
93281
- "▁▁▁▁ ▁",
93282
- "▁▁▁ ▁▁",
93283
- "▁ ▁▁▁▁",
93284
  "▁▁ ▁▁▁▁▁▁▁▁▁▁▁▁▁▁",
 
 
 
 
 
 
 
 
 
 
93285
  "▁▁▁▁ ▁▁▁▁▁▁▁▁▁▁▁▁",
 
 
 
 
 
 
 
 
93286
  "▁▁▁▁▁▁▁▁ ▁▁▁▁▁▁▁▁",
 
 
 
 
 
 
 
 
 
 
 
 
 
 
93287
  "▁▁▁▁▁ ▁▁▁▁▁▁▁▁▁▁▁",
 
 
 
 
 
 
93288
  "▁▁▁▁▁▁ ▁▁▁▁▁▁▁▁▁▁",
 
 
 
 
 
93289
  "▁▁▁▁▁▁▁▁▁▁▁▁ ▁▁▁▁",
 
 
 
93290
  "▁▁▁▁▁▁▁▁▁▁▁▁▁ ▁▁▁",
 
 
 
 
93291
  "▁▁▁▁▁▁▁▁▁▁ ▁▁▁▁▁▁",
 
 
93292
  "▁▁▁▁▁▁▁▁▁▁▁▁▁▁ ▁▁",
 
 
 
 
 
 
 
93293
  "▁▁▁ ▁▁▁▁▁▁▁▁▁▁▁▁▁",
93294
- "▁▁▁▁▁▁▁▁▁ ▁▁▁▁▁▁▁",
93295
- "▁▁▁▁▁▁▁ ▁▁▁▁▁▁▁▁▁",
93296
- "▁▁▁▁▁▁▁▁▁▁▁ ▁▁▁▁▁",
93297
- "▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁ ▁",
93298
- "▁ ▁▁▁▁▁▁▁▁▁▁��▁▁▁▁",
93299
- "▁▁ ▁▁▁▁",
93300
- "▁▁▁▁ ▁▁",
93301
- "▁▁▁▁▁ ▁",
93302
  "▁▁▁ ▁▁▁",
93303
- "▁ ▁▁▁▁▁",
93304
- "▁▁ ▁▁▁▁▁▁▁▁▁▁",
93305
- "▁▁▁▁ ▁▁▁▁▁▁▁▁",
93306
- "▁▁▁▁▁▁▁▁ ▁▁▁▁",
93307
- "▁▁▁▁▁ ▁▁▁▁▁▁▁",
93308
- "▁▁▁▁▁▁ ▁▁▁▁▁▁",
93309
- "▁▁▁▁▁▁▁▁▁▁ ▁▁",
93310
  "▁▁▁ ▁▁▁▁▁▁▁▁▁",
 
 
 
 
 
 
 
93311
  "▁▁▁▁▁▁▁▁▁ ▁▁▁",
 
 
 
 
 
93312
  "▁▁▁▁▁▁▁ ▁▁▁▁▁",
93313
- "▁▁▁▁▁▁▁▁▁▁▁ ▁",
93314
- "▁ ▁▁▁▁▁▁▁▁▁▁▁",
93315
- "▁▁ ▁▁▁▁▁▁▁▁▁▁▁",
93316
- "▁▁▁▁ ▁▁▁▁▁▁▁▁▁",
93317
- "▁▁▁▁▁▁▁▁ ▁▁▁▁▁",
93318
- "▁▁▁▁▁ ▁▁▁▁▁▁▁▁",
93319
- "▁▁▁▁▁▁ ▁▁▁▁▁▁▁",
93320
- "▁▁▁▁▁▁▁▁▁▁▁▁ ▁",
93321
- "▁▁▁▁▁▁▁▁▁▁ ▁▁▁",
93322
- "▁▁▁ ▁▁▁▁▁▁▁▁▁▁",
93323
- "▁▁▁▁▁▁▁▁▁ ▁▁▁▁",
93324
  "▁▁▁▁▁▁▁ ▁▁▁▁▁▁",
93325
- "▁▁▁▁▁▁▁▁▁▁▁ ▁▁",
93326
- "▁ ▁▁▁▁▁▁▁▁▁▁▁▁",
93327
- "▁▁ ▁▁▁▁▁▁▁▁",
93328
- "▁▁▁▁ ▁▁▁▁▁▁",
93329
- "▁▁▁▁▁▁▁▁ ▁▁",
93330
- "▁▁▁▁▁ ▁▁▁▁▁",
93331
- "▁▁▁▁▁▁ ▁▁▁▁",
93332
- "▁▁▁ ▁▁▁▁▁▁▁",
93333
- "▁▁▁▁▁▁▁▁▁ ▁",
93334
  "▁▁▁▁▁▁▁ ▁▁▁",
93335
- "▁ ▁▁▁▁▁▁▁▁▁",
93336
- "▁▁ ▁▁▁▁▁▁▁▁▁▁▁▁",
93337
- "▁▁▁▁ ▁▁▁▁▁▁▁▁▁▁",
93338
- "▁▁▁▁▁▁▁▁ ▁▁▁▁▁▁",
93339
- "▁▁▁▁▁ ▁▁▁▁▁▁▁▁▁",
93340
- "▁▁▁▁▁▁ ▁▁▁▁▁▁▁▁",
93341
- "▁▁▁▁▁▁▁▁▁▁▁▁ ▁▁",
93342
- "▁▁▁▁▁▁▁▁▁▁▁▁▁ ▁",
93343
- "▁▁▁▁▁▁▁▁▁▁ ▁▁▁▁",
93344
- "▁▁▁ ▁▁▁▁▁▁▁▁▁▁▁",
93345
- "▁▁▁▁▁▁▁▁▁ ▁▁▁▁▁",
93346
  "▁▁▁▁▁▁▁ ▁▁▁▁▁▁▁",
 
 
 
 
93347
  "▁▁▁▁▁▁▁▁▁▁▁ ▁▁▁",
93348
- "▁ ▁▁▁▁▁▁▁▁▁▁▁▁▁",
93349
- "▁▁ ▁",
93350
  "▁ ▁▁",
93351
- "▁▁ ▁▁▁▁▁▁▁",
93352
- "▁▁▁▁ ▁▁▁▁▁",
93353
- "▁▁▁▁▁▁▁▁ ▁",
93354
- "▁▁▁▁▁ ▁▁▁▁",
93355
- "▁▁▁▁▁▁ ▁▁▁",
93356
- "▁▁▁ ▁▁▁▁▁▁",
93357
- "▁▁▁▁▁▁▁ ▁▁",
93358
  "▁ ▁▁▁▁▁▁▁▁",
93359
- "▁▁ ▁▁▁▁▁",
93360
- "▁▁▁▁ ▁▁▁",
93361
- "▁▁▁▁▁ ▁▁",
93362
- "▁▁▁▁▁▁ ▁",
93363
- "▁▁▁ ▁▁▁▁",
93364
  "▁ ▁▁▁▁▁▁",
93365
- "▁▁ ▁▁▁▁▁▁▁▁▁",
93366
- "▁▁▁▁ ▁▁▁▁▁▁▁",
93367
- "▁▁▁▁▁▁▁▁ ▁▁▁",
93368
- "▁▁▁▁▁ ▁▁▁▁▁▁",
93369
- "▁▁▁▁▁▁ ▁▁▁▁▁",
93370
- "▁▁▁▁▁▁▁▁▁▁ ▁",
93371
- "▁▁▁ ▁▁▁▁▁▁▁▁",
93372
- "▁▁▁▁▁▁▁▁▁ ▁▁",
93373
- "▁▁▁▁▁▁▁ ▁▁▁▁",
93374
  "▁ ▁▁▁▁▁▁▁▁▁▁",
93375
- "▁▁ ▁▁▁▁▁▁▁▁▁▁▁▁▁",
93376
- "▁▁▁▁ ▁▁▁▁▁▁▁▁▁▁▁",
93377
- "▁▁▁▁▁▁▁▁ ▁▁▁▁▁▁▁",
93378
- "▁▁▁▁▁ ▁▁▁▁▁▁▁▁▁▁",
93379
- "▁▁▁▁▁▁ ▁▁▁▁▁▁▁▁▁",
93380
- "▁▁▁▁▁▁▁▁▁▁▁▁ ▁▁▁",
93381
- "▁▁▁▁▁▁▁▁▁▁▁▁▁ ▁▁",
93382
- "▁▁▁▁▁▁▁▁▁▁ ▁▁▁▁▁",
93383
- "▁▁▁▁▁▁▁▁▁▁▁▁▁▁ ▁",
93384
- "▁▁▁ ▁▁▁▁▁▁▁▁▁▁▁▁",
93385
- "▁▁▁▁▁▁▁▁▁ ▁▁▁▁▁▁",
93386
- "▁▁▁▁▁▁▁ ▁▁▁▁▁▁▁▁",
93387
- "▁▁▁▁▁▁▁▁▁▁▁ ▁▁▁▁",
93388
- "▁ ▁▁▁▁▁▁▁▁▁▁▁▁▁▁"
93389
  ]
93390
  }
93391
  }
 
1
  {
2
  "version": "1.0",
3
+ "truncation": {
4
+ "direction": "Right",
5
+ "max_length": 4096,
6
+ "strategy": "LongestFirst",
7
+ "stride": 0
8
+ },
9
  "padding": null,
10
  "added_tokens": [
11
  {
 
14
  "single_word": false,
15
  "lstrip": false,
16
  "rstrip": false,
17
+ "normalized": true,
18
  "special": true
19
  },
20
  {
 
23
  "single_word": false,
24
  "lstrip": false,
25
  "rstrip": false,
26
+ "normalized": true,
27
  "special": true
28
  },
29
  {
 
32
  "single_word": false,
33
  "lstrip": false,
34
  "rstrip": false,
35
+ "normalized": true,
36
  "special": true
37
  }
38
  ],
 
93271
  "▁livre s",
93272
  "lu b",
93273
  "l ub",
 
93274
  "▁▁ ▁▁",
93275
+ "▁▁ ▁▁▁▁",
93276
+ "▁▁ ▁▁▁▁▁▁▁▁",
93277
+ "▁▁ ▁▁▁▁▁",
93278
  "▁▁ ▁▁▁▁▁▁",
93279
+ "▁▁ ▁▁▁▁▁▁▁▁▁▁▁▁",
93280
+ "▁▁ ▁▁▁▁▁▁▁▁▁▁▁▁▁",
93281
+ "▁▁ ▁▁▁▁▁▁▁▁▁▁",
 
 
 
 
 
 
 
93282
  "▁▁ ▁▁▁▁▁▁▁▁▁▁▁▁▁▁",
93283
+ "▁▁ ▁▁▁",
93284
+ "▁▁ ▁▁▁▁▁▁▁▁▁",
93285
+ "▁▁ ▁▁▁▁▁▁▁",
93286
+ "▁▁ ▁▁▁▁▁▁▁▁▁▁▁",
93287
+ "▁▁ ▁",
93288
+ "▁▁▁▁ ▁▁",
93289
+ "▁▁▁▁ ▁▁▁▁",
93290
+ "▁▁▁▁ ▁▁▁▁▁▁▁▁",
93291
+ "▁▁▁▁ ▁▁▁▁▁",
93292
+ "▁▁▁▁ ▁▁▁▁▁▁",
93293
  "▁▁▁▁ ▁▁▁▁▁▁▁▁▁▁▁▁",
93294
+ "▁▁▁▁ ▁▁▁▁▁▁▁▁▁▁",
93295
+ "▁▁▁▁ ▁▁▁",
93296
+ "▁▁▁▁ ▁▁▁▁▁▁▁▁▁",
93297
+ "▁▁▁▁ ▁▁▁▁▁▁▁",
93298
+ "▁▁▁▁ ▁▁▁▁▁▁▁▁▁▁▁",
93299
+ "▁▁▁▁ ▁",
93300
+ "▁▁▁▁▁▁▁▁ ▁▁",
93301
+ "▁▁▁▁▁▁▁▁ ▁▁▁▁",
93302
  "▁▁▁▁▁▁▁▁ ▁▁▁▁▁▁▁▁",
93303
+ "▁▁▁▁▁▁▁▁ ▁▁▁▁▁",
93304
+ "▁▁▁▁▁▁▁▁ ▁▁▁▁▁▁",
93305
+ "▁▁▁▁▁▁▁▁ ▁▁▁",
93306
+ "▁▁▁▁▁▁▁▁ ▁▁▁▁▁▁▁",
93307
+ "▁▁▁▁▁▁▁▁ ▁",
93308
+ "▁▁▁▁▁ ▁▁",
93309
+ "▁▁▁▁▁ ▁▁▁▁",
93310
+ "▁▁▁▁▁ ▁▁▁▁▁▁▁▁",
93311
+ "▁▁▁▁▁ ▁▁▁▁▁",
93312
+ "▁▁▁▁▁ ▁▁▁▁▁▁",
93313
+ "▁▁▁▁▁ ▁▁▁▁▁▁▁▁▁▁",
93314
+ "▁▁▁▁▁ ▁▁▁",
93315
+ "▁▁▁▁▁ ▁▁▁▁▁▁▁▁▁",
93316
+ "▁▁▁▁▁ ▁▁▁▁▁▁▁",
93317
  "▁▁▁▁▁ ▁▁▁▁▁▁▁▁▁▁▁",
93318
+ "▁▁▁▁▁ ▁",
93319
+ "▁▁▁▁▁▁ ▁▁",
93320
+ "▁▁▁▁▁▁ ▁▁▁▁",
93321
+ "▁▁▁▁▁▁ ▁▁▁▁▁▁▁▁",
93322
+ "▁▁▁▁▁▁ ▁▁▁▁▁",
93323
+ "▁▁▁▁▁▁ ▁▁▁▁▁▁",
93324
  "▁▁▁▁▁▁ ▁▁▁▁▁▁▁▁▁▁",
93325
+ "▁▁▁▁▁▁ ▁▁▁",
93326
+ "▁▁▁▁▁▁ ▁▁▁▁▁▁▁▁▁",
93327
+ "▁▁▁▁▁▁ ▁▁▁▁▁▁▁",
93328
+ "▁▁▁▁▁▁ ▁",
93329
+ "▁▁▁▁▁▁▁▁▁▁▁▁ ▁▁",
93330
  "▁▁▁▁▁▁▁▁▁▁▁▁ ▁▁▁▁",
93331
+ "▁▁▁▁▁▁▁▁▁▁▁▁ ▁▁▁",
93332
+ "▁▁▁▁▁▁▁▁▁▁▁▁ ▁",
93333
+ "▁▁▁▁▁▁▁▁▁▁▁▁▁ ▁▁",
93334
  "▁▁▁▁▁▁▁▁▁▁▁▁▁ ▁▁▁",
93335
+ "▁▁▁▁▁▁▁▁▁▁▁▁▁ ▁",
93336
+ "▁▁▁▁▁▁▁▁▁▁ ▁▁",
93337
+ "▁▁▁▁▁▁▁▁▁▁ ▁▁▁▁",
93338
+ "▁▁▁▁▁▁▁▁▁▁ ▁▁▁▁▁",
93339
  "▁▁▁▁▁▁▁▁▁▁ ▁▁▁▁▁▁",
93340
+ "▁▁▁▁▁▁▁▁▁▁ ▁▁▁",
93341
+ "▁▁▁▁▁▁▁▁▁▁ ▁",
93342
  "▁▁▁▁▁▁▁▁▁▁▁▁▁▁ ▁▁",
93343
+ "▁▁▁▁▁▁▁▁▁▁▁▁▁▁ ▁",
93344
+ "▁▁▁ ▁▁",
93345
+ "▁▁▁ ▁▁▁▁",
93346
+ "▁▁▁ ▁▁▁▁▁▁▁▁",
93347
+ "▁▁▁ ▁▁▁▁▁",
93348
+ "▁▁▁ ▁▁▁▁▁▁",
93349
+ "▁▁▁ ▁▁▁▁▁▁▁▁▁▁▁▁",
93350
  "▁▁▁ ▁▁▁▁▁▁▁▁▁▁▁▁▁",
93351
+ "▁▁▁ ▁▁▁▁▁▁▁▁▁▁",
 
 
 
 
 
 
 
93352
  "▁▁▁ ▁▁▁",
 
 
 
 
 
 
 
93353
  "▁▁▁ ▁▁▁▁▁▁▁▁▁",
93354
+ "▁▁▁ ▁▁▁▁▁▁▁",
93355
+ "▁▁▁ ▁▁▁▁▁▁▁▁▁▁▁",
93356
+ "▁▁▁ ▁",
93357
+ "▁▁▁▁▁▁▁▁▁ ▁▁",
93358
+ "▁▁▁▁▁▁▁▁▁ ▁▁▁▁",
93359
+ "▁▁▁▁▁▁▁▁▁ ▁▁▁▁▁",
93360
+ "▁▁▁▁▁▁▁▁▁ ▁▁▁▁▁▁",
93361
  "▁▁▁▁▁▁▁▁▁ ▁▁▁",
93362
+ "▁▁▁▁▁▁▁▁▁ ▁▁▁▁▁▁▁",
93363
+ "▁▁▁▁▁▁▁▁▁ ▁",
93364
+ "▁▁▁▁▁▁▁ ▁▁",
93365
+ "▁▁▁▁▁▁▁ ▁▁▁▁",
93366
+ "▁▁▁▁▁▁▁ ▁▁▁▁▁▁▁▁",
93367
  "▁▁▁▁▁▁▁ ▁▁▁▁▁",
 
 
 
 
 
 
 
 
 
 
 
93368
  "▁▁▁▁▁▁▁ ▁▁▁▁▁▁",
 
 
 
 
 
 
 
 
 
93369
  "▁▁▁▁▁▁▁ ▁▁▁",
93370
+ "▁▁▁▁▁▁▁ ▁▁▁▁▁▁▁▁▁",
 
 
 
 
 
 
 
 
 
 
93371
  "▁▁▁▁▁▁▁ ▁▁▁▁▁▁▁",
93372
+ "▁▁▁▁▁▁▁ ▁",
93373
+ "▁▁▁▁▁▁▁▁▁▁▁ ▁▁",
93374
+ "▁▁▁▁▁▁▁▁▁▁▁ ▁▁▁▁",
93375
+ "▁▁▁▁▁▁▁▁▁▁▁ ▁▁▁▁▁",
93376
  "▁▁▁▁▁▁▁▁▁▁▁ ▁▁▁",
93377
+ "▁▁▁▁▁▁▁▁▁▁▁ ▁",
93378
+ "▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁ ▁",
93379
  "▁ ▁▁",
93380
+ "▁ ▁▁▁▁",
 
 
 
 
 
 
93381
  "▁ ▁▁▁▁▁▁▁▁",
93382
+ "▁ ▁▁▁▁▁",
 
 
 
 
93383
  "▁ ▁▁▁▁▁▁",
93384
+ "▁ ▁▁▁▁▁▁▁▁▁▁▁▁",
93385
+ "▁ ▁▁▁▁▁▁▁▁▁▁▁▁▁",
 
 
 
 
 
 
 
93386
  "▁ ▁▁▁▁▁▁▁▁▁▁",
93387
+ "▁ ▁▁▁▁▁▁▁▁▁▁▁▁▁▁",
93388
+ "▁ ▁▁▁",
93389
+ "▁ ▁▁▁▁▁▁▁▁▁",
93390
+ "▁ ▁▁▁▁▁▁▁",
93391
+ "▁ ▁▁▁▁▁▁▁▁▁▁▁",
93392
+ "▁ ▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁",
93393
+ "▁ ▁"
 
 
 
 
 
 
 
93394
  ]
93395
  }
93396
  }
tokenizer_config.json CHANGED
@@ -3,7 +3,7 @@
3
  "__type": "AddedToken",
4
  "content": "<s>",
5
  "lstrip": false,
6
- "normalized": false,
7
  "rstrip": false,
8
  "single_word": false
9
  },
@@ -12,21 +12,19 @@
12
  "__type": "AddedToken",
13
  "content": "</s>",
14
  "lstrip": false,
15
- "normalized": false,
16
  "rstrip": false,
17
  "single_word": false
18
  },
19
- "legacy": false,
20
- "model_max_length": 1000000000000000019884624838656,
21
  "pad_token": null,
22
- "padding_side": "right",
23
  "sp_model_kwargs": {},
24
  "tokenizer_class": "LlamaTokenizer",
25
  "unk_token": {
26
  "__type": "AddedToken",
27
  "content": "<unk>",
28
  "lstrip": false,
29
- "normalized": false,
30
  "rstrip": false,
31
  "single_word": false
32
  }
 
3
  "__type": "AddedToken",
4
  "content": "<s>",
5
  "lstrip": false,
6
+ "normalized": true,
7
  "rstrip": false,
8
  "single_word": false
9
  },
 
12
  "__type": "AddedToken",
13
  "content": "</s>",
14
  "lstrip": false,
15
+ "normalized": true,
16
  "rstrip": false,
17
  "single_word": false
18
  },
19
+ "model_max_length": 2048,
 
20
  "pad_token": null,
 
21
  "sp_model_kwargs": {},
22
  "tokenizer_class": "LlamaTokenizer",
23
  "unk_token": {
24
  "__type": "AddedToken",
25
  "content": "<unk>",
26
  "lstrip": false,
27
+ "normalized": true,
28
  "rstrip": false,
29
  "single_word": false
30
  }
training_args.bin CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:476fa7d26128dafd9c45d23e63f28ec4721f510601cec7d5442900f6ebe14a0b
3
  size 4027
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:735b74585fed05148557ab58eae5bfb11bbafae28bd02316d64fb14c333bd192
3
  size 4027