metadata

language:
  - en
  - es
  - ca
licence: apache-2.0
tags:
  - spanish
  - catalan
  - falcon-7b
datasets:
  - BSC-LT/open_data_26B_tokens_balanced_es_ca
metrics:
  - ppl
model-index:
  - name: falcon_7b_balanced_tokenizer_fp16_CPT_open_data_26B_tokens_balanced_es_ca
    results:
      - task:
          name: Causal Language Modeling
          type: text-generation
        dataset:
          name: BSC-LT/open_data_26B_tokens_balanced_es_ca
          type: Causal Language Modeling
          config: default
          split: validation
          args: default
        metrics:
          - name: Perplexity
            type: ppl
            value: 8.59
widget:
  - text: |-
      Respòn a la pregunta següent.
      Pregunta: "Qui viu a França?"
      Resposta: "A França viuen els francesos."
      ----
      Respòn a la pregunta següent.
      Pregunta: "Quina és la capital de Suècia?"
      Resposta: "La capital de Suècia és Estocolm."
      ----
      Respòn a la pregunta següent.
      Pregunta: "Quina beguda es consumeix als matins per despertar-se?"
      Resposta: "La majoria de gent consumeix cafè per despertar-se."
      ----
      Respòn a la pregunta següent.
      Pregunta: "Qui és Leo Messi?"
      Resposta:
    example_title: Pregunta-Resposta
license: apache-2.0
pipeline_tag: text-generation

falcon_7b_balanced_tokenizer_fp16_CPT_open_data_26B_tokens_balanced_es_ca

Overview

This model is a new result towards the long-run problem of "What is the best strategy for training a model in my language (not English)?"

This model adapts the falcon-7b to 2 new target languages Spanish and Catalan by swapping the tokenizer and adjusting the embedding layer before training with 26B tokens in the target language.

Embedding layer adaptation

When adapting a model from English to other languages the tokenizer plays a crucial role. In our case the tokenization of a

If the tokenizer does not include the target language in its training data, the resulting model will need many more tokens to perform the same task. We solve this problem by creating a new tokenizer in the target languages (Spanish and Catalan) and adapting the embedding layer by only reordering the embeddings of the shared tokens of both tokenizers and initializing the rest to the average of all embeddings.

fine-tuned version of /bscdata/models/falcon_7b_balanced_tokenizer_fp16/ on the /bscdata/data/open_data_26B_tokens_balanced_es_ca/open_data_26B_tokens_balanced_es_ca.py default dataset. It achieves the following results on the evaluation set:

Loss: 2.1504
Accuracy: 0.5258

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 5e-05
train_batch_size: 1
eval_batch_size: 1
seed: 42
distributed_type: multi-GPU
num_devices: 8
total_train_batch_size: 8
total_eval_batch_size: 8
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 1.0

Training results

Training Loss	Epoch	Step	Accuracy	Validation Loss
5.3279	0.0	5000	0.3133	3.9941
3.5754	0.0	10000	0.3824	3.3105
3.6102	0.0	15000	0.3977	3.1660
3.0639	0.01	20000	0.4134	3.0215
2.9477	0.01	25000	0.4252	2.9199
2.8589	0.01	30000	0.4315	2.8672
2.8063	0.01	35000	0.4388	2.8027
2.7646	0.01	40000	0.4419	2.7715
2.7306	0.01	45000	0.4467	2.7363
2.7106	0.01	50000	0.4493	2.7129
2.6829	0.02	55000	0.4522	2.6895
2.6703	0.02	60000	0.4537	2.6758
2.6522	0.02	65000	0.4560	2.6602
2.6377	0.02	70000	0.4574	2.6484
2.6241	0.02	75000	0.4587	2.6348
2.6159	0.02	80000	0.4604	2.625
2.5959	0.03	85000	0.4613	2.6133
2.5877	0.03	90000	0.4624	2.6035
2.5832	0.03	95000	0.4632	2.5996
2.5726	0.03	100000	0.4648	2.5859
2.5723	0.03	105000	0.4655	2.5801
2.5584	0.03	110000	0.4641	2.5938
2.5541	0.03	115000	0.4673	2.5664
2.541	0.04	120000	0.4684	2.5586
2.5359	0.04	125000	0.4674	2.5645
2.5298	0.04	130000	0.4699	2.5449
2.5258	0.04	135000	0.4703	2.5410
2.5207	0.04	140000	0.4709	2.5371
2.5167	0.04	145000	0.4719	2.5312
2.5101	0.04	150000	0.4702	2.5449
2.5058	0.05	155000	0.4730	2.5215
2.5021	0.05	160000	0.4734	2.5195
2.8135	0.05	165000	0.4317	2.8320
2.7932	0.05	170000	0.4730	2.5215
2.4914	0.05	175000	0.4752	2.5059
2.487	0.05	180000	0.4754	2.5039
2.4829	0.06	185000	0.4751	2.5039
2.4778	0.06	190000	0.4763	2.4961
2.4779	0.06	195000	0.4770	2.4922
2.4685	0.06	200000	0.4766	2.4941
2.4661	0.06	205000	0.4776	2.4844
2.4579	0.06	210000	0.4783	2.4805
2.4589	0.06	215000	0.4788	2.4785
2.4571	0.07	220000	0.4793	2.4746
2.4504	0.07	225000	0.4797	2.4727
2.4538	0.07	230000	0.4800	2.4688
2.4481	0.07	235000	0.4806	2.4668
2.4454	0.07	240000	0.4810	2.4609
2.44	0.07	245000	0.4811	2.4590
2.4392	0.07	250000	0.4811	2.4590
2.431	0.08	255000	0.4813	2.4570
2.4377	0.08	260000	0.4823	2.4512
2.4299	0.08	265000	0.4826	2.4473
2.4283	0.08	270000	0.4828	2.4473
2.4256	0.08	275000	0.4833	2.4434
2.4198	0.08	280000	0.4838	2.4414
2.4174	0.09	285000	0.4840	2.4414
2.4151	0.09	290000	0.4844	2.4355
2.4191	0.09	295000	0.4847	2.4336
2.4071	0.09	300000	0.4848	2.4316
2.4126	0.09	305000	0.4855	2.4277
2.4053	0.09	310000	0.4851	2.4297
2.4071	0.09	315000	0.4858	2.4258
2.4027	0.1	320000	0.4866	2.4219
2.4013	0.1	325000	0.4867	2.4180
2.4032	0.1	330000	0.4866	2.4180
2.3919	0.1	335000	0.4871	2.4160
2.3936	0.1	340000	0.4873	2.4141
2.3905	0.1	345000	0.4878	2.4102
2.3889	0.1	350000	0.4881	2.4102
2.3866	0.11	355000	0.4884	2.4082
2.3823	0.11	360000	0.4888	2.4062
2.3828	0.11	365000	0.4888	2.4023
2.3795	0.11	370000	0.4889	2.4004
2.3812	0.11	375000	0.4868	2.4160
2.3789	0.11	380000	0.4896	2.3965
2.372	0.12	385000	0.4895	2.3965
2.3732	0.12	390000	0.4899	2.3965
2.3725	0.12	395000	0.4903	2.3926
2.3716	0.12	400000	0.4904	2.3906
2.3709	0.12	405000	0.4904	2.3906
2.3619	0.12	410000	0.4906	2.3887
2.367	0.12	415000	0.4912	2.3867
2.3639	0.13	420000	0.4912	2.3848
2.3621	0.13	425000	0.4919	2.3828
2.3578	0.13	430000	0.4920	2.3809
2.3608	0.13	435000	0.4922	2.3789
2.3541	0.13	440000	0.4923	2.3770
2.3556	0.13	445000	0.4926	2.3770
2.3562	0.13	450000	0.4928	2.3770
2.3641	0.14	455000	0.4910	2.3867
2.3641	0.14	460000	0.4911	2.3867
2.3646	0.14	465000	0.4911	2.3867
2.3629	0.14	470000	0.4911	2.3848
2.3659	0.14	475000	0.4914	2.3828
2.3651	0.14	480000	0.4916	2.3828
2.3608	0.15	485000	0.4918	2.3809
2.3612	0.15	490000	0.4920	2.3809
2.3569	0.15	495000	0.4922	2.3789
2.3557	0.15	500000	0.4923	2.3789
2.3541	0.15	505000	0.4922	2.3770
2.351	0.15	510000	0.4927	2.375
2.3504	0.15	515000	0.4926	2.375
2.3479	0.16	520000	0.4929	2.3730
2.3451	0.16	525000	0.4929	2.3711
2.3505	0.16	530000	0.4934	2.3691
2.3457	0.16	535000	0.4934	2.3691
2.3479	0.16	540000	0.4937	2.3691
2.3421	0.16	545000	0.4936	2.3672
2.3433	0.16	550000	0.4937	2.3672
2.3425	0.17	555000	0.4939	2.3652
2.3403	0.17	560000	0.4942	2.3633
2.3417	0.17	565000	0.4944	2.3613
2.3382	0.17	570000	0.4947	2.3613
2.3354	0.17	575000	0.4949	2.3594
2.3366	0.17	580000	0.4947	2.3594
2.3373	0.18	585000	0.4945	2.3594
2.3365	0.18	590000	0.4949	2.3594
2.3318	0.18	595000	0.4953	2.3555
2.3278	0.18	600000	0.4958	2.3535
2.3277	0.18	605000	0.4959	2.3516
2.326	0.18	610000	0.4961	2.3516
2.3273	0.18	615000	0.4961	2.3516
2.3284	0.19	620000	0.4965	2.3496
2.3276	0.19	625000	0.4966	2.3477
2.3228	0.19	630000	0.4967	2.3457
2.3219	0.19	635000	0.4968	2.3457
2.326	0.19	640000	0.4970	2.3438
2.3191	0.19	645000	0.4972	2.3418
2.3167	0.19	650000	0.4973	2.3438
2.3172	0.2	655000	0.4974	2.3418
2.3194	0.2	660000	0.4977	2.3379
2.3204	0.2	665000	0.4976	2.3398
2.309	0.2	670000	0.4980	2.3359
2.3147	0.2	675000	0.4981	2.3379
2.3122	0.2	680000	0.4980	2.3359
2.3096	0.21	685000	0.4984	2.3340
2.3093	0.21	690000	0.4986	2.3340
2.3048	0.21	695000	0.4985	2.3320
2.3111	0.21	700000	0.4988	2.3301
2.3074	0.21	705000	0.4989	2.3301
2.3082	0.21	710000	0.4992	2.3301
2.3093	0.21	715000	0.4994	2.3281
2.3011	0.22	720000	0.4995	2.3281
2.2998	0.22	725000	0.4995	2.3262
2.3012	0.22	730000	0.4996	2.3262
2.3002	0.22	735000	0.4997	2.3242
2.2994	0.22	740000	0.5000	2.3242
2.299	0.22	745000	0.5001	2.3223
2.2969	0.22	750000	0.5003	2.3223
2.2934	0.23	755000	0.5004	2.3203
2.2988	0.23	760000	0.5005	2.3184
2.2911	0.23	765000	0.5007	2.3184
2.2929	0.23	770000	0.5008	2.3184
2.2926	0.23	775000	0.5009	2.3164
2.292	0.23	780000	0.5012	2.3164
2.2932	0.24	785000	0.5014	2.3145
2.2903	0.24	790000	0.5014	2.3145
2.2886	0.24	795000	0.5015	2.3125
2.2924	0.24	800000	0.5015	2.3125
2.2891	0.24	805000	0.5019	2.3105
2.2862	0.24	810000	0.5020	2.3086
2.2858	0.24	815000	0.5022	2.3086
2.2841	0.25	820000	0.5023	2.3066
2.2843	0.25	825000	0.5022	2.3086
2.2832	0.25	830000	0.5025	2.3066
2.2846	0.25	835000	0.5026	2.3066
2.2784	0.25	840000	0.5027	2.3047
2.277	0.25	845000	0.5028	2.3027
2.276	0.25	850000	0.5026	2.3066
2.2802	0.26	855000	0.5031	2.3027
2.2781	0.26	860000	0.5032	2.3008
2.2749	0.26	865000	0.5038	2.2988
2.2729	0.26	870000	0.5037	2.2969
2.2708	0.26	875000	0.5039	2.2969
2.2754	0.26	880000	0.5039	2.2969
2.2761	0.27	885000	0.5041	2.2949
2.2742	0.27	890000	0.5041	2.2949
2.2734	0.27	895000	0.5041	2.2949
2.2682	0.27	900000	0.5044	2.2930
2.2667	0.27	905000	0.5045	2.2930
2.2676	0.27	910000	0.5046	2.2930
2.2707	0.27	915000	0.5047	2.2910
2.265	0.28	920000	0.5048	2.2910
2.2676	0.28	925000	0.5046	2.2910
2.2662	0.28	930000	0.5052	2.2891
2.2706	0.28	935000	0.5051	2.2891
2.2657	0.28	940000	0.5049	2.2891
2.2672	0.28	945000	0.5050	2.2871
2.2716	0.28	950000	0.5037	2.2969
2.2702	0.29	955000	0.5037	2.2988
2.2708	0.29	960000	0.5035	2.2988
2.2738	0.29	965000	0.5035	2.2988
2.2737	0.29	970000	0.5036	2.2988
2.2763	0.29	975000	0.4987	2.3301
2.2738	0.29	980000	0.5035	2.2969
2.2737	0.3	985000	0.5036	2.2969
2.2748	0.3	990000	0.5036	2.2969
2.2724	0.3	995000	0.5038	2.2969
2.2744	0.3	1000000	0.5033	2.2988
2.2694	0.3	1005000	0.5033	2.2988
2.2684	0.3	1010000	0.5039	2.2949
2.2731	0.3	1015000	0.5040	2.2949
2.2714	0.31	1020000	0.5042	2.2949
2.2687	0.31	1025000	0.5045	2.2930
2.2673	0.31	1030000	0.5046	2.2930
2.2677	0.31	1035000	0.5044	2.2930
2.265	0.31	1040000	0.5047	2.2910
2.2659	0.31	1045000	0.5045	2.2910
2.2633	0.31	1050000	0.5042	2.2949
2.2689	0.32	1055000	0.5050	2.2891
2.2617	0.32	1060000	0.5049	2.2891
2.2613	0.32	1065000	0.5052	2.2871
2.2649	0.32	1070000	0.5047	2.2891
2.2587	0.32	1075000	0.5053	2.2871
2.2641	0.32	1080000	0.5054	2.2852
2.2634	0.33	1085000	0.5057	2.2852
2.2597	0.33	1090000	0.5057	2.2832
2.2572	0.33	1095000	0.5060	2.2832
2.2566	0.33	1100000	0.5056	2.2832
2.2576	0.33	1105000	0.5056	2.2832
2.2612	0.33	1110000	0.5057	2.2832
2.2585	0.33	1115000	0.5059	2.2812
2.2528	0.34	1120000	0.5060	2.2812
2.2599	0.34	1125000	0.5060	2.2812
2.2556	0.34	1130000	0.5066	2.2773
2.2519	0.34	1135000	0.5064	2.2793
2.2567	0.34	1140000	0.5068	2.2773
2.2516	0.34	1145000	0.5069	2.2754
2.2533	0.34	1150000	0.5068	2.2754
2.2532	0.35	1155000	0.5070	2.2754
2.2572	0.35	1160000	0.5064	2.2793
2.2514	0.35	1165000	0.5072	2.2734
2.2471	0.35	1170000	0.5073	2.2734
2.2524	0.35	1175000	0.5076	2.2715
2.247	0.35	1180000	0.5073	2.2715
2.2491	0.35	1185000	0.5077	2.2715
2.2481	0.36	1190000	0.5078	2.2695
2.2465	0.36	1195000	0.5069	2.2734
2.2494	0.36	1200000	0.5067	2.2793
2.2541	0.36	1205000	0.5069	2.2754
2.25	0.36	1210000	0.5067	2.2754
2.25	0.36	1215000	0.5064	2.2793
2.2508	0.37	1220000	0.5070	2.2734
2.2496	0.37	1225000	0.5070	2.2734
2.2499	0.37	1230000	0.5073	2.2734
2.2467	0.37	1235000	0.5076	2.2715
2.2497	0.37	1240000	0.5073	2.2715
2.2463	0.37	1245000	0.5073	2.2715
2.2479	0.37	1250000	0.5078	2.2695
2.2445	0.38	1255000	0.5079	2.2695
2.247	0.38	1260000	0.5078	2.2695
2.2443	0.38	1265000	0.5079	2.2676
2.243	0.38	1270000	0.5081	2.2676
2.2454	0.38	1275000	0.5077	2.2715
2.2451	0.38	1280000	0.5081	2.2695
2.2455	0.38	1285000	0.5084	2.2656
2.241	0.39	1290000	0.5083	2.2676
2.243	0.39	1295000	0.5086	2.2637
2.2408	0.39	1300000	0.5084	2.2637
2.2508	0.39	1305000	0.5063	2.2793
2.252	0.39	1310000	0.5047	2.2910
2.7482	0.39	1315000	0.4506	2.6465
2.4189	0.4	1320000	0.5070	2.2754
2.2446	0.4	1325000	0.5081	2.2676
2.2416	0.4	1330000	0.5087	2.2637
2.2421	0.4	1335000	0.5088	2.2617
2.2367	0.4	1340000	0.5092	2.2617
2.2355	0.4	1345000	0.5091	2.2598
2.2379	0.4	1350000	0.5094	2.2598
2.2365	0.41	1355000	0.5094	2.2598
2.2379	0.41	1360000	0.5091	2.2578
2.235	0.41	1365000	0.5095	2.2578
2.236	0.41	1370000	0.5093	2.2578
2.2344	0.41	1375000	0.5095	2.2578
2.2348	0.41	1380000	0.5096	2.2559
2.2306	0.41	1385000	0.5097	2.2559
2.2293	0.42	1390000	0.5098	2.2559
2.2311	0.42	1395000	0.5101	2.2539
2.231	0.42	1400000	0.5101	2.2539
2.2272	0.42	1405000	0.5102	2.2520
2.2264	0.42	1410000	0.5102	2.2539
2.2295	0.42	1415000	0.5104	2.2520
2.2281	0.43	1420000	0.5104	2.2520
2.2234	0.43	1425000	0.5107	2.25
2.2293	0.43	1430000	0.5107	2.25
2.2256	0.43	1435000	0.5109	2.25
2.2247	0.43	1440000	0.5108	2.25
2.222	0.43	1445000	0.5108	2.25
2.2228	0.43	1450000	0.5106	2.2480
2.2241	0.44	1455000	0.5111	2.2480
2.2219	0.44	1460000	0.5111	2.2461
2.2219	0.44	1465000	0.5113	2.2461
2.2215	0.44	1470000	0.5113	2.2461
2.2193	0.44	1475000	0.5116	2.2441
2.2183	0.44	1480000	0.5115	2.2441
2.2177	0.44	1485000	0.5116	2.2441
2.2211	0.45	1490000	0.5116	2.2422
2.2183	0.45	1495000	0.5118	2.2422
2.2182	0.45	1500000	0.5120	2.2402
2.2148	0.45	1505000	0.5122	2.2402
2.2217	0.45	1510000	0.5123	2.2402
2.2117	0.45	1515000	0.5124	2.2383
2.2152	0.46	1520000	0.5123	2.2383
2.2148	0.46	1525000	0.5125	2.2383
2.2151	0.46	1530000	0.5127	2.2363
2.2129	0.46	1535000	0.5127	2.2363
2.2145	0.46	1540000	0.5128	2.2363
2.2099	0.46	1545000	0.5129	2.2363
2.2125	0.46	1550000	0.5132	2.2344
2.2101	0.47	1555000	0.5131	2.2344
2.211	0.47	1560000	0.5132	2.2344
2.2086	0.47	1565000	0.5132	2.2344
2.2137	0.47	1570000	0.5132	2.2324
2.2122	0.47	1575000	0.5134	2.2324
2.2053	0.47	1580000	0.5134	2.2324
2.208	0.47	1585000	0.5134	2.2305
2.2081	0.48	1590000	0.5136	2.2305
2.2077	0.48	1595000	0.5138	2.2305
2.2061	0.48	1600000	0.5136	2.2305
2.2055	0.48	1605000	0.5139	2.2285
2.2065	0.48	1610000	0.5139	2.2285
2.2054	0.48	1615000	0.5139	2.2285
2.2035	0.49	1620000	0.5140	2.2285
2.2021	0.49	1625000	0.5140	2.2285
2.2036	0.49	1630000	0.5138	2.2285
2.204	0.49	1635000	0.5140	2.2266
2.2042	0.49	1640000	0.5141	2.2266
2.2024	0.49	1645000	0.5142	2.2266
2.2023	0.49	1650000	0.5144	2.2266
2.1976	0.5	1655000	0.5146	2.2246
2.2028	0.5	1660000	0.5147	2.2246
2.1971	0.5	1665000	0.5146	2.2246
2.1978	0.5	1670000	0.5146	2.2246
2.1955	0.5	1675000	0.5148	2.2227
2.1967	0.5	1680000	0.5147	2.2227
2.1975	0.5	1685000	0.5152	2.2227
2.1972	0.51	1690000	0.5149	2.2207
2.1967	0.51	1695000	0.5151	2.2207
2.194	0.51	1700000	0.5151	2.2207
2.2009	0.51	1705000	0.5139	2.2285
2.2085	0.51	1710000	0.5136	2.2305
2.2077	0.51	1715000	0.5137	2.2305
2.205	0.52	1720000	0.5134	2.2305
2.2063	0.52	1725000	0.5134	2.2305
2.2076	0.52	1730000	0.5135	2.2305
2.2036	0.52	1735000	0.5133	2.2305
2.2064	0.52	1740000	0.5138	2.2305
2.2053	0.52	1745000	0.5137	2.2305
2.2048	0.52	1750000	0.5139	2.2305
2.2075	0.53	1755000	0.5138	2.2305
2.2041	0.53	1760000	0.5136	2.2285
2.2057	0.53	1765000	0.5139	2.2285
2.2054	0.53	1770000	0.5139	2.2285
2.2085	0.53	1775000	0.5139	2.2285
2.2051	0.53	1780000	0.5141	2.2266
2.2023	0.53	1785000	0.5139	2.2266
2.205	0.54	1790000	0.5141	2.2266
2.2009	0.54	1795000	0.5141	2.2266
2.1998	0.54	1800000	0.5143	2.2266
2.2009	0.54	1805000	0.5144	2.2246
2.2027	0.54	1810000	0.5143	2.2266
2.2007	0.54	1815000	0.5146	2.2246
2.1978	0.55	1820000	0.5145	2.2246
2.1999	0.55	1825000	0.5146	2.2227
2.1978	0.55	1830000	0.5148	2.2227
2.1989	0.55	1835000	0.5147	2.2227
2.1989	0.55	1840000	0.5148	2.2227
2.1982	0.55	1845000	0.5150	2.2207
2.1974	0.55	1850000	0.5151	2.2207
2.1972	0.56	1855000	0.5151	2.2207
2.1966	0.56	1860000	0.5151	2.2207
2.198	0.56	1865000	0.5150	2.2207
2.1978	0.56	1870000	0.5152	2.2207
2.1938	0.56	1875000	0.5152	2.2207
2.1908	0.56	1880000	0.5152	2.2188
2.1899	0.56	1885000	0.5152	2.2188
2.1938	0.57	1890000	0.5152	2.2188
2.1909	0.57	1895000	0.5154	2.2188
2.1921	0.57	1900000	0.5155	2.2188
2.1926	0.57	1905000	0.5156	2.2168
2.194	0.57	1910000	0.5154	2.2168
2.1942	0.57	1915000	0.5152	2.2188
2.1947	0.58	1920000	0.5151	2.2188
2.1941	0.58	1925000	0.5151	2.2207
2.1984	0.58	1930000	0.5152	2.2207
2.1929	0.58	1935000	0.5151	2.2207
2.1921	0.58	1940000	0.5154	2.2188
2.1932	0.58	1945000	0.5153	2.2188
2.1959	0.58	1950000	0.5154	2.2188
2.1927	0.59	1955000	0.5154	2.2188
2.1949	0.59	1960000	0.5155	2.2188
2.1918	0.59	1965000	0.5154	2.2168
2.1957	0.59	1970000	0.5155	2.2168
2.1884	0.59	1975000	0.5157	2.2168
2.1942	0.59	1980000	0.5156	2.2148
2.1938	0.59	1985000	0.5156	2.2168
2.1935	0.6	1990000	0.5160	2.2148
2.1902	0.6	1995000	0.5157	2.2148
2.188	0.6	2000000	0.5158	2.2148
2.1862	0.6	2005000	0.5159	2.2129
2.1886	0.6	2010000	0.5161	2.2129
2.1811	0.6	2015000	0.5161	2.2129
2.19	0.61	2020000	0.5160	2.2129
2.1895	0.61	2025000	0.5165	2.2129
2.1904	0.61	2030000	0.5161	2.2129
2.1854	0.61	2035000	0.5165	2.2129
2.1883	0.61	2040000	0.5165	2.2109
2.1859	0.61	2045000	0.5165	2.2109
2.1849	0.61	2050000	0.5168	2.2090
2.1844	0.62	2055000	0.5167	2.2109
2.1866	0.62	2060000	0.5167	2.2090
2.1865	0.62	2065000	0.5168	2.2090
2.1846	0.62	2070000	0.5171	2.2070
2.1821	0.62	2075000	0.5170	2.2070
2.184	0.62	2080000	0.5170	2.2070
2.1847	0.62	2085000	0.5173	2.2051
2.1836	0.63	2090000	0.5174	2.2051
2.1791	0.63	2095000	0.5174	2.2051
2.1812	0.63	2100000	0.5173	2.2051
2.1835	0.63	2105000	0.5176	2.2051
2.1806	0.63	2110000	0.5176	2.2051
2.1832	0.63	2115000	0.5175	2.2051
2.1766	0.64	2120000	0.5178	2.2031
2.1775	0.64	2125000	0.5178	2.2031
2.1801	0.64	2130000	0.5177	2.2031
2.1789	0.64	2135000	0.5178	2.2031
2.1794	0.64	2140000	0.5178	2.2031
2.1799	0.64	2145000	0.5179	2.2012
2.1746	0.64	2150000	0.5180	2.2012
2.1766	0.65	2155000	0.5179	2.2012
2.1754	0.65	2160000	0.5177	2.2012
2.1764	0.65	2165000	0.5177	2.2012
2.1745	0.65	2170000	0.5183	2.1992
2.1735	0.65	2175000	0.5180	2.1992
2.1778	0.65	2180000	0.5181	2.1992
2.1717	0.65	2185000	0.5183	2.1992
2.1752	0.66	2190000	0.5185	2.1973
2.1747	0.66	2195000	0.5185	2.1973
2.1754	0.66	2200000	0.5186	2.1973
2.1728	0.66	2205000	0.5188	2.1973
2.1684	0.66	2210000	0.5186	2.1973
2.1722	0.66	2215000	0.5188	2.1953
2.1692	0.67	2220000	0.5190	2.1953
2.176	0.67	2225000	0.5191	2.1953
2.1697	0.67	2230000	0.5190	2.1953
2.1731	0.67	2235000	0.5191	2.1953
2.173	0.67	2240000	0.5191	2.1934
2.1714	0.67	2245000	0.5193	2.1934
2.1719	0.67	2250000	0.5192	2.1934
2.1667	0.68	2255000	0.5190	2.1934
2.1653	0.68	2260000	0.5192	2.1934
2.1656	0.68	2265000	0.5193	2.1914
2.1695	0.68	2270000	0.5194	2.1914
2.17	0.68	2275000	0.5196	2.1914
2.1628	0.68	2280000	0.5197	2.1914
2.1648	0.68	2285000	0.5196	2.1895
2.1647	0.69	2290000	0.5199	2.1895
2.1648	0.69	2295000	0.5198	2.1895
2.168	0.69	2300000	0.5197	2.1895
2.1607	0.69	2305000	0.5198	2.1895
2.1674	0.69	2310000	0.5200	2.1875
2.1656	0.69	2315000	0.5200	2.1875
2.1637	0.7	2320000	0.5202	2.1875
2.1649	0.7	2325000	0.5201	2.1875
2.1625	0.7	2330000	0.5201	2.1875
2.1627	0.7	2335000	0.5203	2.1875
2.1598	0.7	2340000	0.5203	2.1855
2.1638	0.7	2345000	0.5201	2.1875
2.1588	0.7	2350000	0.5205	2.1855
2.1633	0.71	2355000	0.5205	2.1855
2.1621	0.71	2360000	0.5205	2.1855
2.165	0.71	2365000	0.5207	2.1836
2.159	0.71	2370000	0.5206	2.1836
2.1573	0.71	2375000	0.5207	2.1836
2.1556	0.71	2380000	0.5208	2.1836
2.1562	0.71	2385000	0.5210	2.1836
2.1572	0.72	2390000	0.5209	2.1836
2.1577	0.72	2395000	0.5209	2.1816
2.1529	0.72	2400000	0.5210	2.1816
2.1636	0.72	2405000	0.5211	2.1816
2.1521	0.72	2410000	0.5213	2.1816
2.1574	0.72	2415000	0.5214	2.1816
2.1546	0.72	2420000	0.5213	2.1797
2.1572	0.73	2425000	0.5212	2.1797
2.1544	0.73	2430000	0.5212	2.1797
2.15	0.73	2435000	0.5213	2.1797
2.1537	0.73	2440000	0.5217	2.1777
2.1552	0.73	2445000	0.5216	2.1777
2.1522	0.73	2450000	0.5215	2.1777
2.1487	0.74	2455000	0.5215	2.1777
2.1582	0.74	2460000	0.5215	2.1777
2.1582	0.74	2465000	0.5218	2.1777
2.1529	0.74	2470000	0.5218	2.1777
2.1549	0.74	2475000	0.5219	2.1758
2.1525	0.74	2480000	0.5219	2.1758
2.1478	0.74	2485000	0.5221	2.1758
2.1524	0.75	2490000	0.5220	2.1758
2.1477	0.75	2495000	0.5220	2.1738
2.1524	0.75	2500000	0.5222	2.1738
2.147	0.75	2505000	0.5222	2.1738
2.1481	0.75	2510000	0.5223	2.1738
2.1494	0.75	2515000	0.5223	2.1738
2.1484	0.75	2520000	0.5223	2.1738
2.1474	0.76	2525000	0.5223	2.1738
2.1487	0.76	2530000	0.5223	2.1738
2.1465	0.76	2535000	0.5225	2.1719
2.1456	0.76	2540000	0.5226	2.1719
2.1482	0.76	2545000	0.5224	2.1719
2.1451	0.76	2550000	0.5226	2.1719
2.143	0.77	2555000	0.5226	2.1719
2.1463	0.77	2560000	0.5225	2.1719
2.1466	0.77	2565000	0.5228	2.1699
2.1423	0.77	2570000	0.5229	2.1699
2.1423	0.77	2575000	0.5231	2.1699
2.1444	0.77	2580000	0.5230	2.1699
2.1402	0.77	2585000	0.5230	2.1680
2.1376	0.78	2590000	0.5231	2.1680
2.1395	0.78	2595000	0.5232	2.1680
2.1399	0.78	2600000	0.5233	2.1680
2.1379	0.78	2605000	0.5231	2.1680
2.1411	0.78	2610000	0.5234	2.1660
2.1421	0.78	2615000	0.5232	2.1660
2.1412	0.78	2620000	0.5237	2.1660
2.1381	0.79	2625000	0.5236	2.1660
2.142	0.79	2630000	0.5236	2.1660
2.1394	0.79	2635000	0.5236	2.1641
2.1384	0.79	2640000	0.5234	2.1641
2.138	0.79	2645000	0.5236	2.1641
2.1346	0.79	2650000	0.5239	2.1641
2.1376	0.8	2655000	0.5239	2.1641
2.1409	0.8	2660000	0.5240	2.1641
2.1343	0.8	2665000	0.5240	2.1641
2.1363	0.8	2670000	0.5240	2.1621
2.1343	0.8	2675000	0.5242	2.1621
2.1381	0.8	2680000	0.5243	2.1621
2.1355	0.8	2685000	0.5241	2.1621
2.1394	0.81	2690000	0.5242	2.1602
2.1359	0.81	2695000	0.5245	2.1602
2.1365	0.81	2700000	0.5244	2.1602
2.131	0.81	2705000	0.5244	2.1602
2.1337	0.81	2710000	0.5244	2.1602
2.1307	0.81	2715000	0.5246	2.1582
2.1333	0.81	2720000	0.5247	2.1582
2.1354	0.82	2725000	0.5246	2.1582
2.1372	0.82	2730000	0.5248	2.1582
2.1323	0.82	2735000	0.5248	2.1582
2.1315	0.82	2740000	0.5249	2.1562
2.1341	0.82	2745000	0.5249	2.1562
2.132	0.82	2750000	0.5250	2.1562
2.1322	0.83	2755000	0.5252	2.1562
2.1298	0.83	2760000	0.5252	2.1562
2.1285	0.83	2765000	0.5252	2.1543
2.1299	0.83	2770000	0.5252	2.1562
2.1304	0.83	2775000	0.5253	2.1543
2.1288	0.83	2780000	0.5254	2.1543
2.1295	0.83	2785000	0.5253	2.1543
2.129	0.84	2790000	0.5255	2.1543
2.1285	0.84	2795000	0.5254	2.1543
2.1292	0.84	2800000	0.5253	2.1543
2.1278	0.84	2805000	0.5256	2.1523
2.1239	0.84	2810000	0.5255	2.1523
2.1241	0.84	2815000	0.5259	2.1523
2.1232	0.84	2820000	0.5257	2.1523
2.1241	0.85	2825000	0.5257	2.1504
2.1236	0.85	2830000	0.5259	2.1504
2.1272	0.85	2835000	0.5259	2.1504
2.1271	0.85	2840000	0.5261	2.1504
2.1249	0.85	2845000	0.5262	2.1484
2.1245	0.85	2850000	0.5260	2.1484
2.1222	0.86	2855000	0.5261	2.1484
2.125	0.86	2860000	0.5263	2.1484
2.1261	0.86	2865000	0.5261	2.1484
2.1247	0.86	2870000	0.5262	2.1484
2.1225	0.86	2875000	0.5263	2.1484
2.122	0.86	2880000	0.5261	2.1484
2.1237	0.86	2885000	0.5261	2.1465
2.1219	0.87	2890000	0.5262	2.1465
2.1248	0.87	2895000	0.5262	2.1465
2.1191	0.87	2900000	0.5264	2.1465
2.1181	0.87	2905000	0.5264	2.1465
2.1176	0.87	2910000	0.5263	2.1465
2.1191	0.87	2915000	0.5267	2.1465
2.1206	0.87	2920000	0.5268	2.1445
2.1148	0.88	2925000	0.5267	2.1445
2.1188	0.88	2930000	0.5270	2.1445
2.1118	0.88	2935000	0.5270	2.1445
2.1283	0.88	2940000	0.5244	2.1582
2.1336	0.88	2945000	0.5240	2.1621
2.1311	0.88	2950000	0.5237	2.1621
2.1377	0.89	2955000	0.5236	2.1641
2.136	0.89	2960000	0.5236	2.1641
2.1394	0.89	2965000	0.5233	2.1641
2.1405	0.89	2970000	0.5233	2.1660
2.1391	0.89	2975000	0.5236	2.1660
2.1353	0.89	2980000	0.5234	2.1660
2.1392	0.89	2985000	0.5234	2.1660
2.1384	0.9	2990000	0.5235	2.1660
2.1373	0.9	2995000	0.5233	2.1660
2.1346	0.9	3000000	0.5234	2.1660
2.1368	0.9	3005000	0.5235	2.1660
2.1383	0.9	3010000	0.5233	2.1660
2.1447	0.9	3015000	0.5233	2.1660
2.1392	0.9	3020000	0.5234	2.1660
2.1359	0.91	3025000	0.5233	2.1660
2.1408	0.91	3030000	0.5233	2.1660
2.1437	0.91	3035000	0.5233	2.1660
2.1354	0.91	3040000	0.5233	2.1660
2.1371	0.91	3045000	0.5235	2.1660
2.1399	0.91	3050000	0.5234	2.1660
2.1387	0.92	3055000	0.5234	2.1660
2.1406	0.92	3060000	0.5232	2.1660
2.1387	0.92	3065000	0.5235	2.1660
2.1413	0.92	3070000	0.5235	2.1660
2.1371	0.92	3075000	0.5235	2.1641
2.138	0.92	3080000	0.5235	2.1641
2.1385	0.92	3085000	0.5236	2.1641
2.135	0.93	3090000	0.5234	2.1660
2.1401	0.93	3095000	0.5236	2.1641
2.1374	0.93	3100000	0.5236	2.1641
2.1358	0.93	3105000	0.5237	2.1641
2.1344	0.93	3110000	0.5239	2.1621
2.1368	0.93	3115000	0.5239	2.1621
2.1345	0.93	3120000	0.5237	2.1621
2.1358	0.94	3125000	0.5239	2.1621
2.1395	0.94	3130000	0.5239	2.1621
2.1359	0.94	3135000	0.5243	2.1621
2.1373	0.94	3140000	0.5242	2.1602
2.1357	0.94	3145000	0.5243	2.1602
2.1354	0.94	3150000	0.5244	2.1602
2.1323	0.95	3155000	0.5244	2.1602
2.133	0.95	3160000	0.5242	2.1602
2.1315	0.95	3165000	0.5244	2.1602
2.1363	0.95	3170000	0.5243	2.1602
2.1349	0.95	3175000	0.5245	2.1602
2.1336	0.95	3180000	0.5244	2.1602
2.1364	0.95	3185000	0.5244	2.1582
2.133	0.96	3190000	0.5243	2.1582
2.1349	0.96	3195000	0.5245	2.1582
2.134	0.96	3200000	0.5246	2.1582
2.1308	0.96	3205000	0.5249	2.1562
2.1302	0.96	3210000	0.5247	2.1562
2.1302	0.96	3215000	0.5247	2.1562
2.1331	0.96	3220000	0.5248	2.1562
2.1273	0.97	3225000	0.5247	2.1562
2.1286	0.97	3230000	0.5250	2.1562
2.1282	0.97	3235000	0.5250	2.1543
2.1309	0.97	3240000	0.5251	2.1543
2.1295	0.97	3245000	0.5254	2.1543
2.1275	0.97	3250000	0.5254	2.1543
2.133	0.98	3255000	0.5254	2.1543
2.1301	0.98	3260000	0.5251	2.1543
2.1314	0.98	3265000	0.5253	2.1523
2.1258	0.98	3270000	0.5255	2.1523
2.1286	0.98	3275000	0.5254	2.1523
2.1267	0.98	3280000	0.5254	2.1523
2.13	0.98	3285000	0.5254	2.1523
2.1284	0.99	3290000	0.5255	2.1523
2.1295	0.99	3295000	0.5254	2.1523
2.1241	0.99	3300000	0.5256	2.1523
2.1297	0.99	3305000	0.5258	2.1523
2.126	0.99	3310000	0.5256	2.1504
2.1263	0.99	3315000	0.5256	2.1504
2.1273	0.99	3320000	0.5256	2.1504
2.1214	1.0	3325000	0.5255	2.1504
2.1275	1.0	3330000	0.5256	2.1504
2.1227	1.0	3335000	0.5258	2.1504

Framework versions

Transformers 4.30.2
Pytorch 2.0.0
Datasets 2.13.1
Tokenizers 0.13.3