EMOTION-AI-distilbert

This model is a fine-tuned version of distilbert/distilbert-base-uncased on an unknown dataset. It achieves the following results on the evaluation set:

• Loss: 3.6175
• Accuracy: 0.5190

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 2e-05
• train_batch_size: 64
• eval_batch_size: 64
• seed: 42
• optimizer: Use OptimizerNames.ADAMW_TORCH with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
• lr_scheduler_type: linear
• num_epochs: 32
• mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy
No log	0.0921	50	2.6496	0.3000
No log	0.1842	100	2.2870	0.4014
No log	0.2762	150	2.0499	0.4576
No log	0.3683	200	1.9011	0.4876
No log	0.4604	250	1.8260	0.4985
No log	0.5525	300	1.7397	0.5210
No log	0.6446	350	1.6916	0.5250
No log	0.7366	400	1.6654	0.5346
No log	0.8287	450	1.6198	0.5408
2.0074	0.9208	500	1.5843	0.5448
2.0074	1.0129	550	1.5713	0.5538
2.0074	1.1050	600	1.5559	0.5552
2.0074	1.1971	650	1.5373	0.5549
2.0074	1.2891	700	1.5191	0.5597
2.0074	1.3812	750	1.5112	0.5622
2.0074	1.4733	800	1.4986	0.5581
2.0074	1.5654	850	1.4759	0.5640
2.0074	1.6575	900	1.4859	0.5587
2.0074	1.7495	950	1.4962	0.5538
1.476	1.8416	1000	1.4550	0.5647
1.476	1.9337	1050	1.4445	0.5684
1.476	2.0258	1100	1.4560	0.5658
1.476	2.1179	1150	1.4459	0.5737
1.476	2.2099	1200	1.4357	0.5777
1.476	2.3020	1250	1.4315	0.5716
1.476	2.3941	1300	1.4432	0.5779
1.476	2.4862	1350	1.4483	0.5669
1.476	2.5783	1400	1.4340	0.5704
1.476	2.6703	1450	1.4357	0.5692
1.2882	2.7624	1500	1.4298	0.5678
1.2882	2.8545	1550	1.4248	0.5775
1.2882	2.9466	1600	1.4209	0.5737
1.2882	3.0387	1650	1.4215	0.5761
1.2882	3.1308	1700	1.4326	0.5677
1.2882	3.2228	1750	1.4630	0.5593
1.2882	3.3149	1800	1.4505	0.5678
1.2882	3.4070	1850	1.4537	0.5677
1.2882	3.4991	1900	1.4491	0.5700
1.2882	3.5912	1950	1.4504	0.5695
1.1551	3.6832	2000	1.4532	0.5600
1.1551	3.7753	2050	1.4601	0.5642
1.1551	3.8674	2100	1.4482	0.5708
1.1551	3.9595	2150	1.4568	0.5652
1.1551	4.0516	2200	1.4610	0.5642
1.1551	4.1436	2250	1.4919	0.5620
1.1551	4.2357	2300	1.4863	0.5663
1.1551	4.3278	2350	1.5135	0.5586
1.1551	4.4199	2400	1.4971	0.5642
1.1551	4.5120	2450	1.5065	0.5595
1.0118	4.6041	2500	1.5057	0.5608
1.0118	4.6961	2550	1.5217	0.5553
1.0118	4.7882	2600	1.5260	0.5509
1.0118	4.8803	2650	1.5149	0.5583
1.0118	4.9724	2700	1.5255	0.5609
1.0118	5.0645	2750	1.5315	0.5569
1.0118	5.1565	2800	1.5511	0.5504
1.0118	5.2486	2850	1.5621	0.5539
1.0118	5.3407	2900	1.5760	0.5622
1.0118	5.4328	2950	1.5851	0.5504
0.8868	5.5249	3000	1.5944	0.5546
0.8868	5.6169	3050	1.5948	0.5541
0.8868	5.7090	3100	1.6025	0.5447
0.8868	5.8011	3150	1.5968	0.5456
0.8868	5.8932	3200	1.5893	0.5479
0.8868	5.9853	3250	1.6150	0.5472
0.8868	6.0773	3300	1.6327	0.5509
0.8868	6.1694	3350	1.6535	0.5578
0.8868	6.2615	3400	1.6627	0.5469
0.8868	6.3536	3450	1.6689	0.5475
0.7499	6.4457	3500	1.6913	0.5343
0.7499	6.5378	3550	1.7123	0.5422
0.7499	6.6298	3600	1.7112	0.5379
0.7499	6.7219	3650	1.7220	0.5344
0.7499	6.8140	3700	1.7018	0.5431
0.7499	6.9061	3750	1.7093	0.5354
0.7499	6.9982	3800	1.7227	0.5449
0.7499	7.0902	3850	1.7399	0.5446
0.7499	7.1823	3900	1.7616	0.5371
0.7499	7.2744	3950	1.7855	0.5337
0.6473	7.3665	4000	1.7811	0.5362
0.6473	7.4586	4050	1.7944	0.5369
0.6473	7.5506	4100	1.8108	0.5367
0.6473	7.6427	4150	1.8058	0.5370
0.6473	7.7348	4200	1.8092	0.5392
0.6473	7.8269	4250	1.8322	0.5291
0.6473	7.9190	4300	1.8419	0.5283
0.6473	8.0110	4350	1.8451	0.5405
0.6473	8.1031	4400	1.8832	0.5312
0.6473	8.1952	4450	1.8869	0.5329
0.5375	8.2873	4500	1.9002	0.5377
0.5375	8.3794	4550	1.9259	0.5252
0.5375	8.4715	4600	1.9316	0.5264
0.5375	8.5635	4650	1.9401	0.5255
0.5375	8.6556	4700	1.9624	0.5294
0.5375	8.7477	4750	1.9661	0.5212
0.5375	8.8398	4800	1.9745	0.5192
0.5375	8.9319	4850	1.9598	0.5365
0.5375	9.0239	4900	1.9900	0.5278
0.5375	9.1160	4950	2.0058	0.5314
0.4498	9.2081	5000	2.0130	0.5259
0.4498	9.3002	5050	2.0354	0.5299
0.4498	9.3923	5100	2.0325	0.5313
0.4498	9.4843	5150	2.0508	0.5167
0.4498	9.5764	5200	2.0892	0.5240
0.4498	9.6685	5250	2.0906	0.5183
0.4498	9.7606	5300	2.0819	0.5309
0.4498	9.8527	5350	2.0995	0.5225
0.4498	9.9448	5400	2.1054	0.5205
0.4498	10.0368	5450	2.1189	0.5226
0.3664	10.1289	5500	2.1513	0.5289
0.3664	10.2210	5550	2.1673	0.5248
0.3664	10.3131	5600	2.1481	0.5205
0.3664	10.4052	5650	2.1662	0.5316
0.3664	10.4972	5700	2.1811	0.5176
0.3664	10.5893	5750	2.2210	0.5255
0.3664	10.6814	5800	2.2244	0.5198
0.3664	10.7735	5850	2.1979	0.5199
0.3664	10.8656	5900	2.2120	0.5161
0.3664	10.9576	5950	2.2204	0.5139
0.3156	11.0497	6000	2.2456	0.5244
0.3156	11.1418	6050	2.2480	0.5226
0.3156	11.2339	6100	2.2882	0.5121
0.3156	11.3260	6150	2.2628	0.5251
0.3156	11.4180	6200	2.3119	0.5202
0.3156	11.5101	6250	2.3132	0.5108
0.3156	11.6022	6300	2.3214	0.5266
0.3156	11.6943	6350	2.3335	0.5113
0.3156	11.7864	6400	2.3260	0.5170
0.3156	11.8785	6450	2.3309	0.5250
0.2574	11.9705	6500	2.3376	0.5200
0.2574	12.0626	6550	2.3590	0.5202
0.2574	12.1547	6600	2.3936	0.5203
0.2574	12.2468	6650	2.4195	0.5096
0.2574	12.3389	6700	2.3977	0.5208
0.2574	12.4309	6750	2.4062	0.5195
0.2574	12.5230	6800	2.4148	0.5070
0.2574	12.6151	6850	2.3926	0.5238
0.2574	12.7072	6900	2.4649	0.5280
0.2574	12.7993	6950	2.4390	0.5104
0.2141	12.8913	7000	2.4747	0.5100
0.2141	12.9834	7050	2.4723	0.5139
0.2141	13.0755	7100	2.4854	0.5131
0.2141	13.1676	7150	2.4948	0.5040
0.2141	13.2597	7200	2.5408	0.5048
0.2141	13.3517	7250	2.4955	0.5196
0.2141	13.4438	7300	2.5269	0.5167
0.2141	13.5359	7350	2.5142	0.5129
0.2141	13.6280	7400	2.5483	0.5089
0.2141	13.7201	7450	2.5316	0.5097
0.1803	13.8122	7500	2.5726	0.5107
0.1803	13.9042	7550	2.5496	0.5220
0.1803	13.9963	7600	2.5697	0.5116
0.1803	14.0884	7650	2.5899	0.5090
0.1803	14.1805	7700	2.5814	0.5208
0.1803	14.2726	7750	2.6149	0.5185
0.1803	14.3646	7800	2.6136	0.5181
0.1803	14.4567	7850	2.6250	0.5270
0.1803	14.5488	7900	2.6196	0.5179
0.1803	14.6409	7950	2.6376	0.5144
0.148	14.7330	8000	2.6448	0.5174
0.148	14.8250	8050	2.6503	0.5183
0.148	14.9171	8100	2.6473	0.5235
0.148	15.0092	8150	2.6824	0.5066
0.148	15.1013	8200	2.6793	0.5107
0.148	15.1934	8250	2.7011	0.5251
0.148	15.2855	8300	2.7074	0.5090
0.148	15.3775	8350	2.7121	0.5134
0.148	15.4696	8400	2.7508	0.5038
0.148	15.5617	8450	2.7502	0.5172
0.1301	15.6538	8500	2.7507	0.5180
0.1301	15.7459	8550	2.7449	0.5120
0.1301	15.8379	8600	2.7547	0.5205
0.1301	15.9300	8650	2.7351	0.5225
0.1301	16.0221	8700	2.7622	0.5172
0.1301	16.1142	8750	2.7757	0.5165
0.1301	16.2063	8800	2.7955	0.5169
0.1301	16.2983	8850	2.8096	0.5236
0.1301	16.3904	8900	2.8342	0.5182
0.1301	16.4825	8950	2.8554	0.5041
0.1103	16.5746	9000	2.8439	0.5200
0.1103	16.6667	9050	2.8411	0.5248
0.1103	16.7587	9100	2.8346	0.5184
0.1103	16.8508	9150	2.8771	0.5088
0.1103	16.9429	9200	2.8701	0.5062
0.1103	17.0350	9250	2.8685	0.5127
0.1103	17.1271	9300	2.8680	0.5185
0.1103	17.2192	9350	2.8954	0.5219
0.1103	17.3112	9400	2.9458	0.5100
0.1103	17.4033	9450	2.9223	0.5168
0.101	17.4954	9500	2.9091	0.5198
0.101	17.5875	9550	2.9177	0.5236
0.101	17.6796	9600	2.9217	0.5207
0.101	17.7716	9650	2.9529	0.5111
0.101	17.8637	9700	2.9309	0.5182
0.101	17.9558	9750	2.9305	0.5204
0.101	18.0479	9800	2.9628	0.5157
0.101	18.1400	9850	2.9870	0.5141
0.101	18.2320	9900	2.9858	0.5100
0.101	18.3241	9950	3.0014	0.5055
0.0864	18.4162	10000	2.9569	0.5284
0.0864	18.5083	10050	2.9794	0.5212
0.0864	18.6004	10100	3.0051	0.5105
0.0864	18.6924	10150	2.9873	0.5189
0.0864	18.7845	10200	3.0042	0.5090
0.0864	18.8766	10250	3.0372	0.5143
0.0864	18.9687	10300	3.0172	0.5162
0.0864	19.0608	10350	3.0777	0.5135
0.0864	19.1529	10400	3.0752	0.5190
0.0864	19.2449	10450	3.0528	0.5208
0.0738	19.3370	10500	3.0634	0.5229
0.0738	19.4291	10550	3.0784	0.5225
0.0738	19.5212	10600	3.1123	0.5184
0.0738	19.6133	10650	3.1133	0.5198
0.0738	19.7053	10700	3.1186	0.5245
0.0738	19.7974	10750	3.1073	0.5111
0.0738	19.8895	10800	3.1036	0.5197
0.0738	19.9816	10850	3.1277	0.5050
0.0738	20.0737	10900	3.1015	0.5131
0.0738	20.1657	10950	3.1220	0.5190
0.0695	20.2578	11000	3.1118	0.5164
0.0695	20.3499	11050	3.1307	0.5235
0.0695	20.4420	11100	3.1571	0.5141
0.0695	20.5341	11150	3.1683	0.5246
0.0695	20.6262	11200	3.1290	0.5223
0.0695	20.7182	11250	3.1500	0.5182
0.0695	20.8103	11300	3.1576	0.5198
0.0695	20.9024	11350	3.1877	0.5141
0.0695	20.9945	11400	3.1929	0.5189
0.0695	21.0866	11450	3.2077	0.5177
0.0564	21.1786	11500	3.1984	0.5146
0.0564	21.2707	11550	3.2214	0.5234
0.0564	21.3628	11600	3.2058	0.5202
0.0564	21.4549	11650	3.2320	0.5146
0.0564	21.5470	11700	3.2194	0.5153
0.0564	21.6390	11750	3.2457	0.5210
0.0564	21.7311	11800	3.2370	0.5179
0.0564	21.8232	11850	3.2238	0.5149
0.0564	21.9153	11900	3.2487	0.5170
0.0564	22.0074	11950	3.2481	0.5223
0.051	22.0994	12000	3.2677	0.5130
0.051	22.1915	12050	3.2518	0.5220
0.051	22.2836	12100	3.2738	0.5160
0.051	22.3757	12150	3.2881	0.5150
0.051	22.4678	12200	3.2834	0.5187
0.051	22.5599	12250	3.2892	0.5211
0.051	22.6519	12300	3.2891	0.5196
0.051	22.7440	12350	3.2932	0.5229
0.051	22.8361	12400	3.2828	0.5168
0.051	22.9282	12450	3.3304	0.5101
0.0469	23.0203	12500	3.2958	0.5169
0.0469	23.1123	12550	3.3224	0.5197
0.0469	23.2044	12600	3.3234	0.5203
0.0469	23.2965	12650	3.3643	0.5141
0.0469	23.3886	12700	3.3769	0.5122
0.0469	23.4807	12750	3.3603	0.5167
0.0469	23.5727	12800	3.3695	0.5162
0.0469	23.6648	12850	3.3652	0.5109
0.0469	23.7569	12900	3.3760	0.5100
0.0469	23.8490	12950	3.3764	0.5053
0.0385	23.9411	13000	3.3635	0.5150
0.0385	24.0331	13050	3.3932	0.5270
0.0385	24.1252	13100	3.3748	0.5236
0.0385	24.2173	13150	3.3946	0.5153
0.0385	24.3094	13200	3.3851	0.5172
0.0385	24.4015	13250	3.4067	0.5223
0.0385	24.4936	13300	3.4243	0.5127
0.0385	24.5856	13350	3.4289	0.5194
0.0385	24.6777	13400	3.4279	0.5213
0.0385	24.7698	13450	3.4420	0.5164
0.0381	24.8619	13500	3.4355	0.5198
0.0381	24.9540	13550	3.4308	0.5207
0.0381	25.0460	13600	3.4482	0.5208
0.0381	25.1381	13650	3.4440	0.5215
0.0381	25.2302	13700	3.4556	0.5179
0.0381	25.3223	13750	3.4385	0.5233
0.0381	25.4144	13800	3.4559	0.5210
0.0381	25.5064	13850	3.4453	0.5176
0.0381	25.5985	13900	3.4642	0.5153
0.0381	25.6906	13950	3.4710	0.5129
0.0336	25.7827	14000	3.4811	0.5139
0.0336	25.8748	14050	3.4829	0.5142
0.0336	25.9669	14100	3.4749	0.5111
0.0336	26.0589	14150	3.4598	0.5170
0.0336	26.1510	14200	3.4897	0.5104
0.0336	26.2431	14250	3.5020	0.5132
0.0336	26.3352	14300	3.5024	0.5126
0.0336	26.4273	14350	3.5071	0.5139
0.0336	26.5193	14400	3.4931	0.5128
0.0336	26.6114	14450	3.5010	0.5172
0.0301	26.7035	14500	3.5194	0.5177
0.0301	26.7956	14550	3.5073	0.5213
0.0301	26.8877	14600	3.5174	0.5142
0.0301	26.9797	14650	3.5124	0.5229
0.0301	27.0718	14700	3.5240	0.5172
0.0301	27.1639	14750	3.5184	0.5162
0.0301	27.2560	14800	3.5262	0.5139
0.0301	27.3481	14850	3.5179	0.5143
0.0301	27.4401	14900	3.5339	0.5192
0.0301	27.5322	14950	3.5296	0.5160
0.0296	27.6243	15000	3.5420	0.5147
0.0296	27.7164	15050	3.5544	0.5175
0.0296	27.8085	15100	3.5301	0.5154
0.0296	27.9006	15150	3.5497	0.5225
0.0296	27.9926	15200	3.5514	0.5211
0.0296	28.0847	15250	3.5709	0.5230
0.0296	28.1768	15300	3.5534	0.5145
0.0296	28.2689	15350	3.5594	0.5146
0.0296	28.3610	15400	3.5678	0.5205
0.0296	28.4530	15450	3.5623	0.5161
0.0265	28.5451	15500	3.5582	0.5202
0.0265	28.6372	15550	3.5703	0.5182
0.0265	28.7293	15600	3.5721	0.5195
0.0265	28.8214	15650	3.5712	0.5115
0.0265	28.9134	15700	3.5764	0.5199
0.0265	29.0055	15750	3.5729	0.5188
0.0265	29.0976	15800	3.5817	0.5167
0.0265	29.1897	15850	3.5884	0.5196
0.0265	29.2818	15900	3.5870	0.5202
0.0265	29.3738	15950	3.5933	0.5190
0.0227	29.4659	16000	3.5885	0.5226
0.0227	29.5580	16050	3.5954	0.5160
0.0227	29.6501	16100	3.5935	0.5220
0.0227	29.7422	16150	3.5984	0.5198
0.0227	29.8343	16200	3.6006	0.5206
0.0227	29.9263	16250	3.5972	0.5223
0.0227	30.0184	16300	3.5987	0.5185
0.0227	30.1105	16350	3.6008	0.5194
0.0227	30.2026	16400	3.6031	0.5183
0.0227	30.2947	16450	3.5968	0.5169
0.0234	30.3867	16500	3.6048	0.5154
0.0234	30.4788	16550	3.6054	0.5177
0.0234	30.5709	16600	3.6083	0.5159
0.0234	30.6630	16650	3.6099	0.5184
0.0234	30.7551	16700	3.6189	0.5199
0.0234	30.8471	16750	3.6109	0.5202
0.0234	30.9392	16800	3.6115	0.5192
0.0234	31.0313	16850	3.6149	0.5173
0.0234	31.1234	16900	3.6168	0.5189
0.0234	31.2155	16950	3.6169	0.5158
0.0215	31.3076	17000	3.6174	0.5142
0.0215	31.3996	17050	3.6174	0.5180
0.0215	31.4917	17100	3.6183	0.5181
0.0215	31.5838	17150	3.6192	0.5170
0.0215	31.6759	17200	3.6181	0.5181
0.0215	31.7680	17250	3.6177	0.5187
0.0215	31.8600	17300	3.6178	0.5188
0.0215	31.9521	17350	3.6175	0.5190

Framework versions

• Transformers 4.47.1
• Pytorch 2.5.1+cu124
• Datasets 3.2.0
• Tokenizers 0.21.0