File size: 31,390 Bytes
9c17dfe
 
d82191b
 
 
 
 
 
 
 
 
9c17dfe
 
d82191b
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
---
library_name: transformers
license: other
base_model: nvidia/mit-b0
tags:
- vision
- image-segmentation
- generated_from_trainer
model-index:
- name: custom-object-masking_v4-2-1
  results: []
---

<!-- This model card has been generated automatically according to the information the Trainer had access to. You
should probably proofread and complete it, then remove this comment. -->

# custom-object-masking_v4-2-1

This model is a fine-tuned version of [nvidia/mit-b0](https://huggingface.co/nvidia/mit-b0) on the sungile/custom-object-masking_v4-2 dataset.
It achieves the following results on the evaluation set:
- Loss: 0.1002
- Mean Iou: 0.4191
- Mean Accuracy: 0.8383
- Overall Accuracy: 0.8383
- Accuracy Unknown: nan
- Accuracy Background: 0.8383
- Accuracy Object: nan
- Iou Unknown: 0.0
- Iou Background: 0.8383
- Iou Object: nan

## Model description

More information needed

## Intended uses & limitations

More information needed

## Training and evaluation data

More information needed

## Training procedure

### Training hyperparameters

The following hyperparameters were used during training:
- learning_rate: 6e-05
- train_batch_size: 2
- eval_batch_size: 2
- seed: 42
- optimizer: Use adamw_torch with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
- lr_scheduler_type: linear
- num_epochs: 13

### Training results

| Training Loss | Epoch   | Step | Validation Loss | Mean Iou | Mean Accuracy | Overall Accuracy | Accuracy Unknown | Accuracy Background | Accuracy Object | Iou Unknown | Iou Background | Iou Object |
|:-------------:|:-------:|:----:|:---------------:|:--------:|:-------------:|:----------------:|:----------------:|:-------------------:|:---------------:|:-----------:|:--------------:|:----------:|
| 0.7391        | 0.0889  | 20   | 0.9385          | 0.2926   | 0.8778        | 0.8778           | nan              | 0.8778              | nan             | 0.0         | 0.8778         | 0.0        |
| 0.6082        | 0.1778  | 40   | 0.7636          | 0.2813   | 0.8438        | 0.8438           | nan              | 0.8438              | nan             | 0.0         | 0.8438         | 0.0        |
| 0.5773        | 0.2667  | 60   | 0.6362          | 0.4261   | 0.8523        | 0.8523           | nan              | 0.8523              | nan             | 0.0         | 0.8523         | nan        |
| 0.4076        | 0.3556  | 80   | 0.4904          | 0.3878   | 0.7756        | 0.7756           | nan              | 0.7756              | nan             | 0.0         | 0.7756         | nan        |
| 0.448         | 0.4444  | 100  | 0.3627          | 0.2691   | 0.5381        | 0.5381           | nan              | 0.5381              | nan             | 0.0         | 0.5381         | nan        |
| 0.3588        | 0.5333  | 120  | 0.3505          | 0.2945   | 0.5891        | 0.5891           | nan              | 0.5891              | nan             | 0.0         | 0.5891         | nan        |
| 0.3294        | 0.6222  | 140  | 0.2927          | 0.3202   | 0.6404        | 0.6404           | nan              | 0.6404              | nan             | 0.0         | 0.6404         | nan        |
| 0.2958        | 0.7111  | 160  | 0.2787          | 0.3285   | 0.6570        | 0.6570           | nan              | 0.6570              | nan             | 0.0         | 0.6570         | nan        |
| 0.1979        | 0.8     | 180  | 0.2575          | 0.3104   | 0.6207        | 0.6207           | nan              | 0.6207              | nan             | 0.0         | 0.6207         | nan        |
| 0.268         | 0.8889  | 200  | 0.2255          | 0.3344   | 0.6688        | 0.6688           | nan              | 0.6688              | nan             | 0.0         | 0.6688         | nan        |
| 0.415         | 0.9778  | 220  | 0.2097          | 0.3364   | 0.6729        | 0.6729           | nan              | 0.6729              | nan             | 0.0         | 0.6729         | nan        |
| 0.2191        | 1.0667  | 240  | 0.2244          | 0.3725   | 0.7450        | 0.7450           | nan              | 0.7450              | nan             | 0.0         | 0.7450         | nan        |
| 0.1481        | 1.1556  | 260  | 0.2998          | 0.4326   | 0.8651        | 0.8651           | nan              | 0.8651              | nan             | 0.0         | 0.8651         | nan        |
| 0.216         | 1.2444  | 280  | 0.1933          | 0.2995   | 0.5990        | 0.5990           | nan              | 0.5990              | nan             | 0.0         | 0.5990         | nan        |
| 0.1621        | 1.3333  | 300  | 0.2139          | 0.4043   | 0.8085        | 0.8085           | nan              | 0.8085              | nan             | 0.0         | 0.8085         | nan        |
| 0.2972        | 1.4222  | 320  | 0.1705          | 0.3139   | 0.6279        | 0.6279           | nan              | 0.6279              | nan             | 0.0         | 0.6279         | nan        |
| 0.2088        | 1.5111  | 340  | 0.2031          | 0.3358   | 0.6717        | 0.6717           | nan              | 0.6717              | nan             | 0.0         | 0.6717         | nan        |
| 0.1709        | 1.6     | 360  | 0.1721          | 0.3698   | 0.7396        | 0.7396           | nan              | 0.7396              | nan             | 0.0         | 0.7396         | nan        |
| 0.2445        | 1.6889  | 380  | 0.1624          | 0.3891   | 0.7781        | 0.7781           | nan              | 0.7781              | nan             | 0.0         | 0.7781         | nan        |
| 0.4145        | 1.7778  | 400  | 0.2073          | 0.1587   | 0.3175        | 0.3175           | nan              | 0.3175              | nan             | 0.0         | 0.3175         | nan        |
| 0.2236        | 1.8667  | 420  | 0.1698          | 0.4168   | 0.8336        | 0.8336           | nan              | 0.8336              | nan             | 0.0         | 0.8336         | nan        |
| 0.0865        | 1.9556  | 440  | 0.1430          | 0.3734   | 0.7467        | 0.7467           | nan              | 0.7467              | nan             | 0.0         | 0.7467         | nan        |
| 0.1752        | 2.0444  | 460  | 0.1378          | 0.3876   | 0.7752        | 0.7752           | nan              | 0.7752              | nan             | 0.0         | 0.7752         | nan        |
| 0.0611        | 2.1333  | 480  | 0.1409          | 0.3283   | 0.6565        | 0.6565           | nan              | 0.6565              | nan             | 0.0         | 0.6565         | nan        |
| 0.1119        | 2.2222  | 500  | 0.1314          | 0.3812   | 0.7624        | 0.7624           | nan              | 0.7624              | nan             | 0.0         | 0.7624         | nan        |
| 0.1539        | 2.3111  | 520  | 0.1198          | 0.3732   | 0.7463        | 0.7463           | nan              | 0.7463              | nan             | 0.0         | 0.7463         | nan        |
| 0.1989        | 2.4     | 540  | 0.1192          | 0.3706   | 0.7412        | 0.7412           | nan              | 0.7412              | nan             | 0.0         | 0.7412         | nan        |
| 0.1238        | 2.4889  | 560  | 0.1178          | 0.3815   | 0.7630        | 0.7630           | nan              | 0.7630              | nan             | 0.0         | 0.7630         | nan        |
| 0.15          | 2.5778  | 580  | 0.1279          | 0.3462   | 0.6924        | 0.6924           | nan              | 0.6924              | nan             | 0.0         | 0.6924         | nan        |
| 0.1976        | 2.6667  | 600  | 0.1296          | 0.3957   | 0.7914        | 0.7914           | nan              | 0.7914              | nan             | 0.0         | 0.7914         | nan        |
| 0.0968        | 2.7556  | 620  | 0.1160          | 0.3757   | 0.7515        | 0.7515           | nan              | 0.7515              | nan             | 0.0         | 0.7515         | nan        |
| 0.0915        | 2.8444  | 640  | 0.1122          | 0.4019   | 0.8039        | 0.8039           | nan              | 0.8039              | nan             | 0.0         | 0.8039         | nan        |
| 0.2159        | 2.9333  | 660  | 0.1099          | 0.3695   | 0.7390        | 0.7390           | nan              | 0.7390              | nan             | 0.0         | 0.7390         | nan        |
| 0.0781        | 3.0222  | 680  | 0.1184          | 0.3871   | 0.7743        | 0.7743           | nan              | 0.7743              | nan             | 0.0         | 0.7743         | nan        |
| 0.1362        | 3.1111  | 700  | 0.1061          | 0.3861   | 0.7723        | 0.7723           | nan              | 0.7723              | nan             | 0.0         | 0.7723         | nan        |
| 0.0367        | 3.2     | 720  | 0.1273          | 0.3252   | 0.6503        | 0.6503           | nan              | 0.6503              | nan             | 0.0         | 0.6503         | nan        |
| 0.0451        | 3.2889  | 740  | 0.1225          | 0.4195   | 0.8389        | 0.8389           | nan              | 0.8389              | nan             | 0.0         | 0.8389         | nan        |
| 0.0689        | 3.3778  | 760  | 0.1103          | 0.3794   | 0.7587        | 0.7587           | nan              | 0.7587              | nan             | 0.0         | 0.7587         | nan        |
| 0.2043        | 3.4667  | 780  | 0.1085          | 0.3551   | 0.7101        | 0.7101           | nan              | 0.7101              | nan             | 0.0         | 0.7101         | nan        |
| 0.0473        | 3.5556  | 800  | 0.1085          | 0.3911   | 0.7822        | 0.7822           | nan              | 0.7822              | nan             | 0.0         | 0.7822         | nan        |
| 0.0904        | 3.6444  | 820  | 0.1091          | 0.3995   | 0.7990        | 0.7990           | nan              | 0.7990              | nan             | 0.0         | 0.7990         | nan        |
| 0.1193        | 3.7333  | 840  | 0.1083          | 0.3949   | 0.7898        | 0.7898           | nan              | 0.7898              | nan             | 0.0         | 0.7898         | nan        |
| 0.0279        | 3.8222  | 860  | 0.1040          | 0.4008   | 0.8016        | 0.8016           | nan              | 0.8016              | nan             | 0.0         | 0.8016         | nan        |
| 0.0474        | 3.9111  | 880  | 0.1077          | 0.3612   | 0.7225        | 0.7225           | nan              | 0.7225              | nan             | 0.0         | 0.7225         | nan        |
| 0.2733        | 4.0     | 900  | 0.1034          | 0.4099   | 0.8198        | 0.8198           | nan              | 0.8198              | nan             | 0.0         | 0.8198         | nan        |
| 0.0789        | 4.0889  | 920  | 0.0995          | 0.4071   | 0.8142        | 0.8142           | nan              | 0.8142              | nan             | 0.0         | 0.8142         | nan        |
| 0.1098        | 4.1778  | 940  | 0.1028          | 0.3983   | 0.7966        | 0.7966           | nan              | 0.7966              | nan             | 0.0         | 0.7966         | nan        |
| 0.0274        | 4.2667  | 960  | 0.1020          | 0.3771   | 0.7542        | 0.7542           | nan              | 0.7542              | nan             | 0.0         | 0.7542         | nan        |
| 0.1645        | 4.3556  | 980  | 0.1147          | 0.4270   | 0.8540        | 0.8540           | nan              | 0.8540              | nan             | 0.0         | 0.8540         | nan        |
| 0.0508        | 4.4444  | 1000 | 0.1008          | 0.3972   | 0.7944        | 0.7944           | nan              | 0.7944              | nan             | 0.0         | 0.7944         | nan        |
| 0.1336        | 4.5333  | 1020 | 0.0963          | 0.3973   | 0.7947        | 0.7947           | nan              | 0.7947              | nan             | 0.0         | 0.7947         | nan        |
| 0.0346        | 4.6222  | 1040 | 0.1061          | 0.3759   | 0.7519        | 0.7519           | nan              | 0.7519              | nan             | 0.0         | 0.7519         | nan        |
| 0.0243        | 4.7111  | 1060 | 0.1017          | 0.4157   | 0.8315        | 0.8315           | nan              | 0.8315              | nan             | 0.0         | 0.8315         | nan        |
| 0.2029        | 4.8     | 1080 | 0.1016          | 0.3618   | 0.7235        | 0.7235           | nan              | 0.7235              | nan             | 0.0         | 0.7235         | nan        |
| 0.0348        | 4.8889  | 1100 | 0.1028          | 0.4353   | 0.8707        | 0.8707           | nan              | 0.8707              | nan             | 0.0         | 0.8707         | nan        |
| 0.0641        | 4.9778  | 1120 | 0.1023          | 0.4124   | 0.8249        | 0.8249           | nan              | 0.8249              | nan             | 0.0         | 0.8249         | nan        |
| 0.1042        | 5.0667  | 1140 | 0.1034          | 0.3725   | 0.7450        | 0.7450           | nan              | 0.7450              | nan             | 0.0         | 0.7450         | nan        |
| 0.034         | 5.1556  | 1160 | 0.0995          | 0.4246   | 0.8493        | 0.8493           | nan              | 0.8493              | nan             | 0.0         | 0.8493         | nan        |
| 0.065         | 5.2444  | 1180 | 0.0954          | 0.3963   | 0.7926        | 0.7926           | nan              | 0.7926              | nan             | 0.0         | 0.7926         | nan        |
| 0.0585        | 5.3333  | 1200 | 0.0981          | 0.4203   | 0.8407        | 0.8407           | nan              | 0.8407              | nan             | 0.0         | 0.8407         | nan        |
| 0.0584        | 5.4222  | 1220 | 0.1002          | 0.4252   | 0.8504        | 0.8504           | nan              | 0.8504              | nan             | 0.0         | 0.8504         | nan        |
| 0.0546        | 5.5111  | 1240 | 0.0923          | 0.4067   | 0.8134        | 0.8134           | nan              | 0.8134              | nan             | 0.0         | 0.8134         | nan        |
| 0.09          | 5.6     | 1260 | 0.1025          | 0.4196   | 0.8392        | 0.8392           | nan              | 0.8392              | nan             | 0.0         | 0.8392         | nan        |
| 0.2459        | 5.6889  | 1280 | 0.1104          | 0.4421   | 0.8843        | 0.8843           | nan              | 0.8843              | nan             | 0.0         | 0.8843         | nan        |
| 0.0388        | 5.7778  | 1300 | 0.0958          | 0.4003   | 0.8006        | 0.8006           | nan              | 0.8006              | nan             | 0.0         | 0.8006         | nan        |
| 0.0286        | 5.8667  | 1320 | 0.1013          | 0.4067   | 0.8135        | 0.8135           | nan              | 0.8135              | nan             | 0.0         | 0.8135         | nan        |
| 0.0743        | 5.9556  | 1340 | 0.1011          | 0.4149   | 0.8298        | 0.8298           | nan              | 0.8298              | nan             | 0.0         | 0.8298         | nan        |
| 0.0701        | 6.0444  | 1360 | 0.0981          | 0.4147   | 0.8294        | 0.8294           | nan              | 0.8294              | nan             | 0.0         | 0.8294         | nan        |
| 0.0132        | 6.1333  | 1380 | 0.0923          | 0.4010   | 0.8021        | 0.8021           | nan              | 0.8021              | nan             | 0.0         | 0.8021         | nan        |
| 0.0445        | 6.2222  | 1400 | 0.0925          | 0.4068   | 0.8135        | 0.8135           | nan              | 0.8135              | nan             | 0.0         | 0.8135         | nan        |
| 0.0202        | 6.3111  | 1420 | 0.0940          | 0.4121   | 0.8242        | 0.8242           | nan              | 0.8242              | nan             | 0.0         | 0.8242         | nan        |
| 0.062         | 6.4     | 1440 | 0.0940          | 0.4258   | 0.8515        | 0.8515           | nan              | 0.8515              | nan             | 0.0         | 0.8515         | nan        |
| 0.1998        | 6.4889  | 1460 | 0.0976          | 0.3918   | 0.7837        | 0.7837           | nan              | 0.7837              | nan             | 0.0         | 0.7837         | nan        |
| 0.0473        | 6.5778  | 1480 | 0.0934          | 0.4260   | 0.8519        | 0.8519           | nan              | 0.8519              | nan             | 0.0         | 0.8519         | nan        |
| 0.0236        | 6.6667  | 1500 | 0.0927          | 0.4082   | 0.8163        | 0.8163           | nan              | 0.8163              | nan             | 0.0         | 0.8163         | nan        |
| 0.052         | 6.7556  | 1520 | 0.0958          | 0.4066   | 0.8132        | 0.8132           | nan              | 0.8132              | nan             | 0.0         | 0.8132         | nan        |
| 0.0258        | 6.8444  | 1540 | 0.0925          | 0.4243   | 0.8485        | 0.8485           | nan              | 0.8485              | nan             | 0.0         | 0.8485         | nan        |
| 0.0357        | 6.9333  | 1560 | 0.0927          | 0.4082   | 0.8163        | 0.8163           | nan              | 0.8163              | nan             | 0.0         | 0.8163         | nan        |
| 0.0122        | 7.0222  | 1580 | 0.0956          | 0.4246   | 0.8492        | 0.8492           | nan              | 0.8492              | nan             | 0.0         | 0.8492         | nan        |
| 0.1689        | 7.1111  | 1600 | 0.0913          | 0.4144   | 0.8288        | 0.8288           | nan              | 0.8288              | nan             | 0.0         | 0.8288         | nan        |
| 0.0657        | 7.2     | 1620 | 0.0952          | 0.4067   | 0.8134        | 0.8134           | nan              | 0.8134              | nan             | 0.0         | 0.8134         | nan        |
| 0.1023        | 7.2889  | 1640 | 0.0957          | 0.4116   | 0.8232        | 0.8232           | nan              | 0.8232              | nan             | 0.0         | 0.8232         | nan        |
| 0.0202        | 7.3778  | 1660 | 0.0910          | 0.4090   | 0.8180        | 0.8180           | nan              | 0.8180              | nan             | 0.0         | 0.8180         | nan        |
| 0.0802        | 7.4667  | 1680 | 0.0934          | 0.4091   | 0.8183        | 0.8183           | nan              | 0.8183              | nan             | 0.0         | 0.8183         | nan        |
| 0.0925        | 7.5556  | 1700 | 0.0926          | 0.4131   | 0.8262        | 0.8262           | nan              | 0.8262              | nan             | 0.0         | 0.8262         | nan        |
| 0.0154        | 7.6444  | 1720 | 0.0958          | 0.4140   | 0.8280        | 0.8280           | nan              | 0.8280              | nan             | 0.0         | 0.8280         | nan        |
| 0.0176        | 7.7333  | 1740 | 0.0923          | 0.4174   | 0.8348        | 0.8348           | nan              | 0.8348              | nan             | 0.0         | 0.8348         | nan        |
| 0.0861        | 7.8222  | 1760 | 0.0978          | 0.4234   | 0.8468        | 0.8468           | nan              | 0.8468              | nan             | 0.0         | 0.8468         | nan        |
| 0.0422        | 7.9111  | 1780 | 0.0971          | 0.4085   | 0.8171        | 0.8171           | nan              | 0.8171              | nan             | 0.0         | 0.8171         | nan        |
| 0.287         | 8.0     | 1800 | 0.1010          | 0.4154   | 0.8308        | 0.8308           | nan              | 0.8308              | nan             | 0.0         | 0.8308         | nan        |
| 0.2216        | 8.0889  | 1820 | 0.0991          | 0.4037   | 0.8073        | 0.8073           | nan              | 0.8073              | nan             | 0.0         | 0.8073         | nan        |
| 0.0269        | 8.1778  | 1840 | 0.0993          | 0.4258   | 0.8515        | 0.8515           | nan              | 0.8515              | nan             | 0.0         | 0.8515         | nan        |
| 0.0176        | 8.2667  | 1860 | 0.1009          | 0.4232   | 0.8464        | 0.8464           | nan              | 0.8464              | nan             | 0.0         | 0.8464         | nan        |
| 0.0371        | 8.3556  | 1880 | 0.0944          | 0.4162   | 0.8323        | 0.8323           | nan              | 0.8323              | nan             | 0.0         | 0.8323         | nan        |
| 0.0406        | 8.4444  | 1900 | 0.1013          | 0.3907   | 0.7814        | 0.7814           | nan              | 0.7814              | nan             | 0.0         | 0.7814         | nan        |
| 0.0286        | 8.5333  | 1920 | 0.1015          | 0.4215   | 0.8430        | 0.8430           | nan              | 0.8430              | nan             | 0.0         | 0.8430         | nan        |
| 0.0307        | 8.6222  | 1940 | 0.0967          | 0.4213   | 0.8426        | 0.8426           | nan              | 0.8426              | nan             | 0.0         | 0.8426         | nan        |
| 0.0372        | 8.7111  | 1960 | 0.0938          | 0.4166   | 0.8332        | 0.8332           | nan              | 0.8332              | nan             | 0.0         | 0.8332         | nan        |
| 0.0094        | 8.8     | 1980 | 0.0965          | 0.4333   | 0.8665        | 0.8665           | nan              | 0.8665              | nan             | 0.0         | 0.8665         | nan        |
| 0.0469        | 8.8889  | 2000 | 0.0995          | 0.3927   | 0.7855        | 0.7855           | nan              | 0.7855              | nan             | 0.0         | 0.7855         | nan        |
| 0.0172        | 8.9778  | 2020 | 0.0995          | 0.4123   | 0.8245        | 0.8245           | nan              | 0.8245              | nan             | 0.0         | 0.8245         | nan        |
| 0.1531        | 9.0667  | 2040 | 0.1000          | 0.4047   | 0.8094        | 0.8094           | nan              | 0.8094              | nan             | 0.0         | 0.8094         | nan        |
| 0.0339        | 9.1556  | 2060 | 0.1010          | 0.4271   | 0.8541        | 0.8541           | nan              | 0.8541              | nan             | 0.0         | 0.8541         | nan        |
| 0.0364        | 9.2444  | 2080 | 0.0989          | 0.4048   | 0.8095        | 0.8095           | nan              | 0.8095              | nan             | 0.0         | 0.8095         | nan        |
| 0.0554        | 9.3333  | 2100 | 0.0939          | 0.4216   | 0.8433        | 0.8433           | nan              | 0.8433              | nan             | 0.0         | 0.8433         | nan        |
| 0.0416        | 9.4222  | 2120 | 0.0953          | 0.4184   | 0.8367        | 0.8367           | nan              | 0.8367              | nan             | 0.0         | 0.8367         | nan        |
| 0.0386        | 9.5111  | 2140 | 0.0948          | 0.4197   | 0.8394        | 0.8394           | nan              | 0.8394              | nan             | 0.0         | 0.8394         | nan        |
| 0.044         | 9.6     | 2160 | 0.0953          | 0.4212   | 0.8424        | 0.8424           | nan              | 0.8424              | nan             | 0.0         | 0.8424         | nan        |
| 0.1638        | 9.6889  | 2180 | 0.0969          | 0.4179   | 0.8359        | 0.8359           | nan              | 0.8359              | nan             | 0.0         | 0.8359         | nan        |
| 0.0155        | 9.7778  | 2200 | 0.0998          | 0.3974   | 0.7949        | 0.7949           | nan              | 0.7949              | nan             | 0.0         | 0.7949         | nan        |
| 0.0232        | 9.8667  | 2220 | 0.0995          | 0.4064   | 0.8128        | 0.8128           | nan              | 0.8128              | nan             | 0.0         | 0.8128         | nan        |
| 0.0476        | 9.9556  | 2240 | 0.0985          | 0.4146   | 0.8293        | 0.8293           | nan              | 0.8293              | nan             | 0.0         | 0.8293         | nan        |
| 0.0567        | 10.0444 | 2260 | 0.1030          | 0.4062   | 0.8125        | 0.8125           | nan              | 0.8125              | nan             | 0.0         | 0.8125         | nan        |
| 0.0489        | 10.1333 | 2280 | 0.1006          | 0.4080   | 0.8160        | 0.8160           | nan              | 0.8160              | nan             | 0.0         | 0.8160         | nan        |
| 0.022         | 10.2222 | 2300 | 0.0994          | 0.4207   | 0.8414        | 0.8414           | nan              | 0.8414              | nan             | 0.0         | 0.8414         | nan        |
| 0.0144        | 10.3111 | 2320 | 0.1023          | 0.4154   | 0.8308        | 0.8308           | nan              | 0.8308              | nan             | 0.0         | 0.8308         | nan        |
| 0.0471        | 10.4    | 2340 | 0.1000          | 0.4102   | 0.8204        | 0.8204           | nan              | 0.8204              | nan             | 0.0         | 0.8204         | nan        |
| 0.0483        | 10.4889 | 2360 | 0.1005          | 0.4213   | 0.8426        | 0.8426           | nan              | 0.8426              | nan             | 0.0         | 0.8426         | nan        |
| 0.0064        | 10.5778 | 2380 | 0.1043          | 0.4138   | 0.8277        | 0.8277           | nan              | 0.8277              | nan             | 0.0         | 0.8277         | nan        |
| 0.0526        | 10.6667 | 2400 | 0.1051          | 0.4082   | 0.8163        | 0.8163           | nan              | 0.8163              | nan             | 0.0         | 0.8163         | nan        |
| 0.0301        | 10.7556 | 2420 | 0.1008          | 0.4110   | 0.8219        | 0.8219           | nan              | 0.8219              | nan             | 0.0         | 0.8219         | nan        |
| 0.0297        | 10.8444 | 2440 | 0.0999          | 0.4073   | 0.8146        | 0.8146           | nan              | 0.8146              | nan             | 0.0         | 0.8146         | nan        |
| 0.0377        | 10.9333 | 2460 | 0.1004          | 0.4147   | 0.8295        | 0.8295           | nan              | 0.8295              | nan             | 0.0         | 0.8295         | nan        |
| 0.0673        | 11.0222 | 2480 | 0.0989          | 0.4175   | 0.8350        | 0.8350           | nan              | 0.8350              | nan             | 0.0         | 0.8350         | nan        |
| 0.085         | 11.1111 | 2500 | 0.1012          | 0.4246   | 0.8492        | 0.8492           | nan              | 0.8492              | nan             | 0.0         | 0.8492         | nan        |
| 0.0127        | 11.2    | 2520 | 0.0980          | 0.4230   | 0.8460        | 0.8460           | nan              | 0.8460              | nan             | 0.0         | 0.8460         | nan        |
| 0.0083        | 11.2889 | 2540 | 0.0967          | 0.4241   | 0.8482        | 0.8482           | nan              | 0.8482              | nan             | 0.0         | 0.8482         | nan        |
| 0.0216        | 11.3778 | 2560 | 0.0973          | 0.4276   | 0.8553        | 0.8553           | nan              | 0.8553              | nan             | 0.0         | 0.8553         | nan        |
| 0.0376        | 11.4667 | 2580 | 0.1012          | 0.4276   | 0.8553        | 0.8553           | nan              | 0.8553              | nan             | 0.0         | 0.8553         | nan        |
| 0.0623        | 11.5556 | 2600 | 0.1009          | 0.4270   | 0.8541        | 0.8541           | nan              | 0.8541              | nan             | 0.0         | 0.8541         | nan        |
| 0.0276        | 11.6444 | 2620 | 0.1003          | 0.4142   | 0.8284        | 0.8284           | nan              | 0.8284              | nan             | 0.0         | 0.8284         | nan        |
| 0.0336        | 11.7333 | 2640 | 0.1004          | 0.4046   | 0.8092        | 0.8092           | nan              | 0.8092              | nan             | 0.0         | 0.8092         | nan        |
| 0.0307        | 11.8222 | 2660 | 0.1012          | 0.4019   | 0.8039        | 0.8039           | nan              | 0.8039              | nan             | 0.0         | 0.8039         | nan        |
| 0.1815        | 11.9111 | 2680 | 0.1001          | 0.4101   | 0.8203        | 0.8203           | nan              | 0.8203              | nan             | 0.0         | 0.8203         | nan        |
| 0.0171        | 12.0    | 2700 | 0.1002          | 0.4124   | 0.8249        | 0.8249           | nan              | 0.8249              | nan             | 0.0         | 0.8249         | nan        |
| 0.0646        | 12.0889 | 2720 | 0.0997          | 0.4129   | 0.8257        | 0.8257           | nan              | 0.8257              | nan             | 0.0         | 0.8257         | nan        |
| 0.051         | 12.1778 | 2740 | 0.0983          | 0.4163   | 0.8327        | 0.8327           | nan              | 0.8327              | nan             | 0.0         | 0.8327         | nan        |
| 0.0502        | 12.2667 | 2760 | 0.1004          | 0.4217   | 0.8434        | 0.8434           | nan              | 0.8434              | nan             | 0.0         | 0.8434         | nan        |
| 0.0077        | 12.3556 | 2780 | 0.0989          | 0.4194   | 0.8388        | 0.8388           | nan              | 0.8388              | nan             | 0.0         | 0.8388         | nan        |
| 0.0212        | 12.4444 | 2800 | 0.0991          | 0.4162   | 0.8325        | 0.8325           | nan              | 0.8325              | nan             | 0.0         | 0.8325         | nan        |
| 0.0313        | 12.5333 | 2820 | 0.1008          | 0.4116   | 0.8231        | 0.8231           | nan              | 0.8231              | nan             | 0.0         | 0.8231         | nan        |
| 0.0064        | 12.6222 | 2840 | 0.1021          | 0.4199   | 0.8398        | 0.8398           | nan              | 0.8398              | nan             | 0.0         | 0.8398         | nan        |
| 0.1206        | 12.7111 | 2860 | 0.1018          | 0.4198   | 0.8397        | 0.8397           | nan              | 0.8397              | nan             | 0.0         | 0.8397         | nan        |
| 0.0261        | 12.8    | 2880 | 0.1031          | 0.4237   | 0.8475        | 0.8475           | nan              | 0.8475              | nan             | 0.0         | 0.8475         | nan        |
| 0.0139        | 12.8889 | 2900 | 0.1024          | 0.4215   | 0.8429        | 0.8429           | nan              | 0.8429              | nan             | 0.0         | 0.8429         | nan        |
| 0.0173        | 12.9778 | 2920 | 0.1002          | 0.4191   | 0.8383        | 0.8383           | nan              | 0.8383              | nan             | 0.0         | 0.8383         | nan        |


### Framework versions

- Transformers 4.47.1
- Pytorch 2.5.1+cu124
- Datasets 3.2.0
- Tokenizers 0.21.0