bengali_qa_model_AGGRO

This model is a fine-tuned version of sagorsarker/bangla-bert-base on an unknown dataset. It achieves the following results on the evaluation set:

• Loss: 5.7440
• Exact Match: 0.4286
• F1 Score: 15.2372

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 2e-09
• train_batch_size: 4
• eval_batch_size: 4
• seed: 42
• gradient_accumulation_steps: 8
• total_train_batch_size: 32
• optimizer: Use adamw_torch with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 50
• num_epochs: 1

Training results

Training Loss	Epoch	Step	Validation Loss	Exact Match	F1 Score
No log	0.0027	1	5.7575	0.2256	16.4667
No log	0.0053	2	5.7575	0.2256	16.4667
No log	0.0080	3	5.7575	0.2256	16.4667
No log	0.0107	4	5.7575	0.2256	16.4667
No log	0.0134	5	5.7575	0.2256	16.4667
No log	0.0160	6	5.7575	0.2256	16.4667
No log	0.0187	7	5.7575	0.2256	16.4667
No log	0.0214	8	5.7575	0.2256	16.4667
No log	0.0241	9	5.7575	0.2256	16.4667
No log	0.0267	10	5.7575	0.2256	16.4667
No log	0.0294	11	5.7575	0.2256	16.4667
No log	0.0321	12	5.7575	0.2256	16.4667
No log	0.0347	13	5.7574	0.2256	16.4667
No log	0.0374	14	5.7574	0.2256	16.4667
No log	0.0401	15	5.7574	0.2256	16.5367
No log	0.0428	16	5.7574	0.2256	16.5367
No log	0.0454	17	5.7574	0.2256	16.5367
No log	0.0481	18	5.7574	0.2256	16.5367
No log	0.0508	19	5.7573	0.2256	16.5367
No log	0.0535	20	5.7573	0.2256	16.5367
No log	0.0561	21	5.7573	0.2256	16.5367
No log	0.0588	22	5.7573	0.2256	16.5367
No log	0.0615	23	5.7573	0.2256	16.5367
No log	0.0641	24	5.7572	0.2256	16.5367
No log	0.0668	25	5.7572	0.2256	16.5367
No log	0.0695	26	5.7572	0.2256	16.5367
No log	0.0722	27	5.7571	0.2256	16.5367
No log	0.0748	28	5.7571	0.2256	16.5367
No log	0.0775	29	5.7570	0.2256	16.5367
No log	0.0802	30	5.7570	0.2256	16.5367
No log	0.0829	31	5.7569	0.2256	16.5367
No log	0.0855	32	5.7569	0.2256	16.5367
No log	0.0882	33	5.7568	0.2256	16.5367
No log	0.0909	34	5.7568	0.2256	16.5367
No log	0.0936	35	5.7567	0.2256	16.5367
No log	0.0962	36	5.7567	0.2256	16.5367
No log	0.0989	37	5.7566	0.2256	16.5367
No log	0.1016	38	5.7566	0.2256	16.5367
No log	0.1042	39	5.7565	0.2256	16.5367
No log	0.1069	40	5.7564	0.2256	16.5367
No log	0.1096	41	5.7564	0.2256	16.5367
No log	0.1123	42	5.7563	0.2256	16.5367
No log	0.1149	43	5.7562	0.2256	16.5367
No log	0.1176	44	5.7562	0.2256	16.5367
No log	0.1203	45	5.7561	0.2256	16.5367
No log	0.1230	46	5.7560	0.2256	16.5367
No log	0.1256	47	5.7560	0.2256	16.5367
No log	0.1283	48	5.7559	0.2256	16.5367
No log	0.1310	49	5.7558	0.2256	16.5367
No log	0.1336	50	5.7557	0.2256	16.5687
No log	0.1363	51	5.7556	0.2256	16.5703
No log	0.1390	52	5.7555	0.2256	16.5703
No log	0.1417	53	5.7555	0.2256	16.5703
No log	0.1443	54	5.7554	0.2256	16.5703
No log	0.1470	55	5.7553	0.2256	16.5703
No log	0.1497	56	5.7552	0.2256	16.5703
No log	0.1524	57	5.7551	0.2256	16.5703
No log	0.1550	58	5.7551	0.2256	16.6010
No log	0.1577	59	5.7550	0.2256	16.6010
No log	0.1604	60	5.7549	0.2256	16.6010
No log	0.1630	61	5.7548	0.2256	16.6010
No log	0.1657	62	5.7547	0.2256	16.6010
No log	0.1684	63	5.7547	0.2256	16.6010
No log	0.1711	64	5.7546	0.2256	16.6010
No log	0.1737	65	5.7545	0.2256	16.6010
No log	0.1764	66	5.7544	0.2256	16.6010
No log	0.1791	67	5.7543	0.2256	16.6010
No log	0.1818	68	5.7543	0.2256	16.6094
No log	0.1844	69	5.7542	0.2256	16.6094
No log	0.1871	70	5.7541	0.2256	16.6094
No log	0.1898	71	5.7540	0.2256	16.6094
No log	0.1924	72	5.7540	0.2256	16.6094
No log	0.1951	73	5.7539	0.2256	16.6094
No log	0.1978	74	5.7538	0.2256	16.6094
No log	0.2005	75	5.7537	0.2256	16.6094
No log	0.2031	76	5.7537	0.2256	16.6094
No log	0.2058	77	5.7536	0.2256	16.6094
No log	0.2085	78	5.7535	0.2256	16.6321
No log	0.2112	79	5.7534	0.2256	16.6321
No log	0.2138	80	5.7534	0.2256	16.6321
No log	0.2165	81	5.7533	0.2256	16.6321
No log	0.2192	82	5.7532	0.2256	16.6457
No log	0.2219	83	5.7531	0.2256	16.6457
No log	0.2245	84	5.7531	0.2256	16.6457
No log	0.2272	85	5.7530	0.2256	16.6457
No log	0.2299	86	5.7529	0.2256	16.6457
No log	0.2325	87	5.7529	0.2256	16.6457
No log	0.2352	88	5.7528	0.2256	16.6457
No log	0.2379	89	5.7527	0.2256	16.6457
No log	0.2406	90	5.7527	0.2256	16.6457
No log	0.2432	91	5.7526	0.2256	16.6457
No log	0.2459	92	5.7525	0.2256	16.6457
No log	0.2486	93	5.7524	0.2256	16.6457
No log	0.2513	94	5.7524	0.2256	16.6457
No log	0.2539	95	5.7523	0.2256	16.6457
No log	0.2566	96	5.7522	0.2256	16.6457
No log	0.2593	97	5.7522	0.2256	16.6457
No log	0.2619	98	5.7521	0.2256	16.6457
No log	0.2646	99	5.7520	0.2256	16.7156
No log	0.2673	100	5.7520	0.2256	16.7278
No log	0.2700	101	5.7519	0.2256	16.7278
No log	0.2726	102	5.7518	0.2256	16.7278
No log	0.2753	103	5.7518	0.2256	16.7278
No log	0.2780	104	5.7517	0.2256	16.7278
No log	0.2807	105	5.7516	0.2256	16.7278
No log	0.2833	106	5.7516	0.2256	16.7278
No log	0.2860	107	5.7515	0.2256	16.7278
No log	0.2887	108	5.7514	0.2256	16.7278
No log	0.2913	109	5.7514	0.2256	16.7278
No log	0.2940	110	5.7513	0.2256	16.7278
No log	0.2967	111	5.7512	0.2256	16.7278
No log	0.2994	112	5.7512	0.2256	16.7278
No log	0.3020	113	5.7511	0.2256	16.7477
No log	0.3047	114	5.7510	0.2256	16.7477
No log	0.3074	115	5.7510	0.2256	16.7477
No log	0.3101	116	5.7509	0.2256	16.7477
No log	0.3127	117	5.7508	0.2256	16.7477
No log	0.3154	118	5.7508	0.2256	16.7477
No log	0.3181	119	5.7507	0.2256	16.7477
No log	0.3207	120	5.7507	0.2256	16.7477
No log	0.3234	121	5.7506	0.2256	16.7477
No log	0.3261	122	5.7505	0.2256	16.7640
No log	0.3288	123	5.7505	0.2256	16.7640
No log	0.3314	124	5.7504	0.2256	16.7640
No log	0.3341	125	5.7503	0.2256	16.7640
No log	0.3368	126	5.7503	0.2256	16.7640
No log	0.3395	127	5.7502	0.2256	16.7640
No log	0.3421	128	5.7501	0.2256	16.7640
No log	0.3448	129	5.7501	0.2256	16.7640
No log	0.3475	130	5.7500	0.2256	16.7640
No log	0.3502	131	5.7500	0.2256	16.7640
No log	0.3528	132	5.7499	0.2256	16.7640
No log	0.3555	133	5.7498	0.2256	16.7640
No log	0.3582	134	5.7498	0.2256	16.7640
No log	0.3608	135	5.7497	0.2256	16.7638
No log	0.3635	136	5.7497	0.2256	16.8209
No log	0.3662	137	5.7496	0.2256	16.8232
No log	0.3689	138	5.7495	0.2256	16.8232
No log	0.3715	139	5.7495	0.2256	16.8232
No log	0.3742	140	5.7494	0.2256	16.8232
No log	0.3769	141	5.7494	0.2256	16.8232
No log	0.3796	142	5.7493	0.2256	16.8232
No log	0.3822	143	5.7492	0.2256	16.8232
No log	0.3849	144	5.7492	0.2256	16.8232
No log	0.3876	145	5.7491	0.2256	16.8232
No log	0.3902	146	5.7491	0.2256	16.8232
No log	0.3929	147	5.7490	0.2256	16.8232
No log	0.3956	148	5.7490	0.2256	16.8232
No log	0.3983	149	5.7489	0.2256	16.8232
No log	0.4009	150	5.7488	0.2256	16.8232
No log	0.4036	151	5.7488	0.2256	16.8232
No log	0.4063	152	5.7487	0.2256	16.8232
No log	0.4090	153	5.7487	0.2256	16.8404
No log	0.4116	154	5.7486	0.2256	16.8404
No log	0.4143	155	5.7486	0.2256	16.8404
No log	0.4170	156	5.7485	0.2256	16.8404
No log	0.4196	157	5.7485	0.2256	16.8404
No log	0.4223	158	5.7484	0.2256	16.8404
No log	0.4250	159	5.7484	0.2256	16.8404
No log	0.4277	160	5.7483	0.2256	16.8760
No log	0.4303	161	5.7483	0.2256	16.8760
No log	0.4330	162	5.7482	0.2256	16.8760
No log	0.4357	163	5.7481	0.2256	16.8760
No log	0.4384	164	5.7481	0.2256	16.8760
No log	0.4410	165	5.7480	0.2256	16.8760
No log	0.4437	166	5.7480	0.2256	16.8760
No log	0.4464	167	5.7479	0.2256	16.8760
No log	0.4490	168	5.7479	0.2256	16.8836
No log	0.4517	169	5.7478	0.2256	16.8836
No log	0.4544	170	5.7478	0.2256	16.8836
No log	0.4571	171	5.7477	0.2256	16.8836
No log	0.4597	172	5.7477	0.2256	16.8836
No log	0.4624	173	5.7476	0.2256	16.8836
No log	0.4651	174	5.7476	0.2256	16.8797
No log	0.4678	175	5.7475	0.2256	16.8797
No log	0.4704	176	5.7475	0.2256	16.8797
No log	0.4731	177	5.7474	0.2256	16.8797
No log	0.4758	178	5.7474	0.2256	16.8797
No log	0.4784	179	5.7473	0.2256	16.8797
No log	0.4811	180	5.7473	0.2256	16.8797
No log	0.4838	181	5.7472	0.2256	16.8802
No log	0.4865	182	5.7472	0.2256	16.8802
No log	0.4891	183	5.7471	0.2256	16.8802
No log	0.4918	184	5.7471	0.2256	16.8802
No log	0.4945	185	5.7470	0.2256	16.8802
No log	0.4972	186	5.7470	0.2256	16.8802
No log	0.4998	187	5.7469	0.2256	16.8802
No log	0.5025	188	5.7469	0.2256	16.8802
No log	0.5052	189	5.7469	0.2256	16.8802
No log	0.5079	190	5.7468	0.2256	16.8802
No log	0.5105	191	5.7468	0.2256	16.8802
No log	0.5132	192	5.7467	0.2256	16.8802
No log	0.5159	193	5.7467	0.2256	16.8802
No log	0.5185	194	5.7466	0.2256	16.8802
No log	0.5212	195	5.7466	0.2256	16.8802
No log	0.5239	196	5.7465	0.2256	16.8802
No log	0.5266	197	5.7465	0.2256	16.8802
No log	0.5292	198	5.7465	0.2256	16.8802
No log	0.5319	199	5.7464	0.2256	16.8802
No log	0.5346	200	5.7464	0.2256	16.8802
No log	0.5373	201	5.7463	0.2256	16.8802
No log	0.5399	202	5.7463	0.2256	16.8802
No log	0.5426	203	5.7462	0.2256	16.8802
No log	0.5453	204	5.7462	0.2256	16.8802
No log	0.5479	205	5.7462	0.2256	16.8802
No log	0.5506	206	5.7461	0.2256	16.8802
No log	0.5533	207	5.7461	0.2256	16.8802
No log	0.5560	208	5.7460	0.2256	16.8802
No log	0.5586	209	5.7460	0.2256	16.8802
No log	0.5613	210	5.7460	0.2256	16.8802
No log	0.5640	211	5.7459	0.2256	16.8802
No log	0.5667	212	5.7459	0.2256	16.8802
No log	0.5693	213	5.7458	0.2256	16.8802
No log	0.5720	214	5.7458	0.2256	16.8802
No log	0.5747	215	5.7458	0.2256	16.8802
No log	0.5773	216	5.7457	0.2256	16.8802
No log	0.5800	217	5.7457	0.2256	16.8802
No log	0.5827	218	5.7457	0.2256	16.8802
No log	0.5854	219	5.7456	0.2256	16.8802
No log	0.5880	220	5.7456	0.2256	16.8802
No log	0.5907	221	5.7456	0.2256	16.8802
No log	0.5934	222	5.7456	0.2256	16.8802
No log	0.5961	223	5.7455	0.2256	16.8802
No log	0.5987	224	5.7455	0.2256	16.8802
No log	0.6014	225	5.7455	0.2256	16.8802
No log	0.6041	226	5.7454	0.2256	16.8802
No log	0.6067	227	5.7454	0.2256	16.8802
No log	0.6094	228	5.7454	0.2256	16.8802
No log	0.6121	229	5.7454	0.2256	16.8802
No log	0.6148	230	5.7453	0.2256	16.8802
No log	0.6174	231	5.7453	0.2256	16.9066
No log	0.6201	232	5.7453	0.2256	16.9066
No log	0.6228	233	5.7453	0.2256	16.9066
No log	0.6255	234	5.7452	0.2256	16.9066
No log	0.6281	235	5.7452	0.2256	16.9066
No log	0.6308	236	5.7452	0.2256	16.9066
No log	0.6335	237	5.7452	0.2256	16.9066
No log	0.6362	238	5.7452	0.2256	16.9066
No log	0.6388	239	5.7451	0.2256	16.9066
No log	0.6415	240	5.7451	0.2256	16.9066
No log	0.6442	241	5.7451	0.2256	16.9066
No log	0.6468	242	5.7451	0.2256	16.9066
No log	0.6495	243	5.7450	0.2256	16.9066
No log	0.6522	244	5.7450	0.2256	16.9066
No log	0.6549	245	5.7450	0.2256	16.9066
No log	0.6575	246	5.7450	0.2256	16.9066
No log	0.6602	247	5.7450	0.2256	16.9066
No log	0.6629	248	5.7449	0.2256	16.9066
No log	0.6656	249	5.7449	0.2256	16.9066
No log	0.6682	250	5.7449	0.2256	16.9066
No log	0.6709	251	5.7449	0.2256	16.9066
No log	0.6736	252	5.7449	0.2256	16.9066
No log	0.6762	253	5.7448	0.2256	16.9066
No log	0.6789	254	5.7448	0.2256	16.9031
No log	0.6816	255	5.7448	0.2256	16.9031
No log	0.6843	256	5.7448	0.2256	16.9031
No log	0.6869	257	5.7448	0.2256	16.9031
No log	0.6896	258	5.7447	0.2256	16.9031
No log	0.6923	259	5.7447	0.2256	16.9031
No log	0.6950	260	5.7447	0.2256	16.9031
No log	0.6976	261	5.7447	0.2256	16.9031
No log	0.7003	262	5.7447	0.2256	16.9031
No log	0.7030	263	5.7446	0.2256	16.9031
No log	0.7056	264	5.7446	0.2256	16.9031
No log	0.7083	265	5.7446	0.2256	16.9031
No log	0.7110	266	5.7446	0.2256	16.9031
No log	0.7137	267	5.7446	0.2256	16.9031
No log	0.7163	268	5.7446	0.2256	16.9031
No log	0.7190	269	5.7445	0.2256	16.9031
No log	0.7217	270	5.7445	0.2256	16.9031
No log	0.7244	271	5.7445	0.2256	16.9031
No log	0.7270	272	5.7445	0.2256	16.9031
No log	0.7297	273	5.7445	0.2256	16.9031
No log	0.7324	274	5.7445	0.2256	16.9031
No log	0.7350	275	5.7444	0.2256	16.9031
No log	0.7377	276	5.7444	0.2256	16.9031
No log	0.7404	277	5.7444	0.2256	16.9031
No log	0.7431	278	5.7444	0.2256	16.9031
No log	0.7457	279	5.7444	0.2256	16.9031
No log	0.7484	280	5.7444	0.2256	16.9031
No log	0.7511	281	5.7443	0.2256	16.9031
No log	0.7538	282	5.7443	0.2256	16.9031
No log	0.7564	283	5.7443	0.2256	16.9031
No log	0.7591	284	5.7443	0.2256	16.9031
No log	0.7618	285	5.7443	0.2256	16.9031
No log	0.7645	286	5.7443	0.2256	16.9031
No log	0.7671	287	5.7443	0.2256	16.9031
No log	0.7698	288	5.7442	0.2256	16.9031
No log	0.7725	289	5.7442	0.2256	16.9031
No log	0.7751	290	5.7442	0.2256	16.9031
No log	0.7778	291	5.7442	0.2256	16.9031
No log	0.7805	292	5.7442	0.2256	16.9031
No log	0.7832	293	5.7442	0.2256	16.9031
No log	0.7858	294	5.7442	0.2256	16.9031
No log	0.7885	295	5.7442	0.2256	16.9031
No log	0.7912	296	5.7441	0.2256	16.9031
No log	0.7939	297	5.7441	0.2256	16.9031
No log	0.7965	298	5.7441	0.2256	16.9031
No log	0.7992	299	5.7441	0.2256	16.9031
No log	0.8019	300	5.7441	0.2256	16.9031
No log	0.8045	301	5.7441	0.2256	16.9031
No log	0.8072	302	5.7441	0.2256	16.9031
No log	0.8099	303	5.7441	0.2256	16.9031
No log	0.8126	304	5.7441	0.2256	16.9031
No log	0.8152	305	5.7441	0.2256	16.9031
No log	0.8179	306	5.7441	0.2256	16.9031
No log	0.8206	307	5.7441	0.2256	16.9031
No log	0.8233	308	5.7441	0.2256	16.9031
No log	0.8259	309	5.7440	0.2256	16.9031
No log	0.8286	310	5.7440	0.2256	16.9031
No log	0.8313	311	5.7440	0.2256	16.9031
No log	0.8339	312	5.7440	0.2256	16.9031
No log	0.8366	313	5.7440	0.2256	16.9031
No log	0.8393	314	5.7440	0.2256	16.9031
No log	0.8420	315	5.7440	0.2256	16.9031
No log	0.8446	316	5.7440	0.2256	16.9031
No log	0.8473	317	5.7440	0.2256	16.9031
No log	0.8500	318	5.7440	0.2256	16.9031
No log	0.8527	319	5.7440	0.2256	16.9031
No log	0.8553	320	5.7440	0.2256	16.9031
No log	0.8580	321	5.7440	0.2256	16.9031
No log	0.8607	322	5.7440	0.2256	16.9031
No log	0.8633	323	5.7440	0.2256	16.9031
No log	0.8660	324	5.7440	0.2256	16.9031
No log	0.8687	325	5.7440	0.2256	16.9031
No log	0.8714	326	5.7440	0.2256	16.9031
No log	0.8740	327	5.7440	0.2256	16.9031
No log	0.8767	328	5.7440	0.2256	16.9031
No log	0.8794	329	5.7439	0.2256	16.9031
No log	0.8821	330	5.7439	0.2256	16.9031
No log	0.8847	331	5.7439	0.2256	16.9031
No log	0.8874	332	5.7439	0.2256	16.9031
No log	0.8901	333	5.7439	0.2256	16.9031
No log	0.8927	334	5.7439	0.2256	16.9031
No log	0.8954	335	5.7439	0.2256	16.9031
No log	0.8981	336	5.7439	0.2256	16.9031
No log	0.9008	337	5.7439	0.2256	16.9031
No log	0.9034	338	5.7439	0.2256	16.9031
No log	0.9061	339	5.7439	0.2256	16.9031
No log	0.9088	340	5.7439	0.2256	16.9031
No log	0.9115	341	5.7439	0.2256	16.9031
No log	0.9141	342	5.7439	0.2256	16.9031
No log	0.9168	343	5.7439	0.2256	16.9031
No log	0.9195	344	5.7439	0.2256	16.9031
No log	0.9222	345	5.7439	0.2256	16.9031
No log	0.9248	346	5.7439	0.2256	16.9031
No log	0.9275	347	5.7439	0.2256	16.9031
No log	0.9302	348	5.7439	0.2256	16.9031
No log	0.9328	349	5.7439	0.2256	16.9031
No log	0.9355	350	5.7439	0.2256	16.9031
No log	0.9382	351	5.7439	0.2256	16.9031
No log	0.9409	352	5.7439	0.2256	16.9031
No log	0.9435	353	5.7439	0.2256	16.9031
No log	0.9462	354	5.7439	0.2256	16.9031
No log	0.9489	355	5.7439	0.2256	16.9031
No log	0.9516	356	5.7439	0.2256	16.9031
No log	0.9542	357	5.7439	0.2256	16.9031
No log	0.9569	358	5.7439	0.2256	16.9031
No log	0.9596	359	5.7439	0.2256	16.9031
No log	0.9622	360	5.7439	0.2256	16.9031
No log	0.9649	361	5.7439	0.2256	16.9031
No log	0.9676	362	5.7439	0.2256	16.9031
No log	0.9703	363	5.7439	0.2256	16.9031
No log	0.9729	364	5.7439	0.2256	16.9031
No log	0.9756	365	5.7439	0.2256	16.9031
No log	0.9783	366	5.7439	0.2256	16.9031
No log	0.9810	367	5.7439	0.2256	16.9031
No log	0.9836	368	5.7439	0.2256	16.9031
No log	0.9863	369	5.7439	0.2256	16.9031
No log	0.9890	370	5.7439	0.2256	16.9031
No log	0.9916	371	5.7439	0.2256	16.9031
No log	0.9943	372	5.7439	0.2256	16.9031
No log	0.9970	373	5.7439	0.2256	16.9031
No log	0.9997	374	5.7439	0.2256	16.9031

Framework versions

• Transformers 4.46.3
• Pytorch 2.4.0
• Datasets 3.1.0
• Tokenizers 0.20.3