lemexp-task3-small-deepseek-coder-1.3b-base-ddp-8lr

This model is a fine-tuned version of deepseek-ai/deepseek-coder-1.3b-base on an unknown dataset. It achieves the following results on the evaluation set:

• Loss: 0.1396

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 0.0008
• train_batch_size: 2
• eval_batch_size: 2
• seed: 42
• distributed_type: multi-GPU
• num_devices: 8
• total_train_batch_size: 16
• total_eval_batch_size: 16
• optimizer: Use OptimizerNames.ADAMW_TORCH with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
• lr_scheduler_type: linear
• num_epochs: 12
• mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss
0.4251	0.2001	629	0.2945
0.2993	0.4001	1258	0.2587
0.2692	0.6002	1887	0.2363
0.2389	0.8003	2516	0.2178
0.2334	1.0003	3145	0.2135
0.2119	1.2004	3774	0.2025
0.2091	1.4004	4403	0.2047
0.2026	1.6005	5032	0.1989
0.2004	1.8006	5661	0.1933
0.1976	2.0006	6290	0.1933
0.1913	2.2007	6919	0.1899
0.1821	2.4008	7548	0.1823
0.1822	2.6008	8177	0.1871
0.1825	2.8009	8806	0.1791
0.1802	3.0010	9435	0.1806
0.1659	3.2010	10064	0.1763
0.1704	3.4011	10693	0.1771
0.1655	3.6011	11322	0.1713
0.1649	3.8012	11951	0.1692
0.1641	4.0013	12580	0.1685
0.1543	4.2013	13209	0.1706
0.1532	4.4014	13838	0.1641
0.1539	4.6015	14467	0.1616
0.1513	4.8015	15096	0.1618
0.1527	5.0016	15725	0.1629
0.1436	5.2017	16354	0.1578
0.14	5.4017	16983	0.1552
0.1409	5.6018	17612	0.1557
0.1408	5.8018	18241	0.1542
0.1407	6.0019	18870	0.1519
0.1338	6.2020	19499	0.1522
0.1278	6.4020	20128	0.1498
0.1305	6.6021	20757	0.1487
0.127	6.8022	21386	0.1478
0.1316	7.0022	22015	0.1451
0.1159	7.2023	22644	0.1464
0.1157	7.4024	23273	0.1445
0.1198	7.6024	23902	0.1464
0.1171	7.8025	24531	0.1426
0.116	8.0025	25160	0.1395
0.106	8.2026	25789	0.1414
0.1051	8.4027	26418	0.1419
0.1087	8.6027	27047	0.1403
0.1073	8.8028	27676	0.1420
0.1093	9.0029	28305	0.1403
0.1027	9.2029	28934	0.1397
0.0982	9.4030	29563	0.1386
0.0968	9.6031	30192	0.1402
0.0969	9.8031	30821	0.1380
0.0972	10.0032	31450	0.1372
0.0868	10.2032	32079	0.1404
0.0893	10.4033	32708	0.1380
0.0894	10.6034	33337	0.1363
0.0883	10.8034	33966	0.1367
0.0887	11.0035	34595	0.1388
0.0831	11.2036	35224	0.1425
0.0821	11.4036	35853	0.1399
0.0822	11.6037	36482	0.1408
0.0813	11.8038	37111	0.1396

Framework versions

• PEFT 0.14.0
• Transformers 4.47.0
• Pytorch 2.5.1+cu124
• Datasets 3.2.0
• Tokenizers 0.21.0