lilt-en-funsd-7

This model is a fine-tuned version of SCUT-DLVCLab/lilt-roberta-en-base on the None dataset. It achieves the following results on the evaluation set:

• Loss: 0.3070
• Other: {'precision': 0.9619894864537, 'recall': 0.9569589702333066, 'f1': 0.9594676346037508, 'number': 2486}
• Billing Address: {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 24}
• Currency: {'precision': 0.8333333333333334, 'recall': 1.0, 'f1': 0.9090909090909091, 'number': 5}
• Due Date: {'precision': 0.8076923076923077, 'recall': 0.84, 'f1': 0.8235294117647058, 'number': 25}
• Invoice Date: {'precision': 0.8913043478260869, 'recall': 0.9318181818181818, 'f1': 0.9111111111111111, 'number': 44}
• Invoice Number: {'precision': 0.9545454545454546, 'recall': 0.9130434782608695, 'f1': 0.9333333333333332, 'number': 46}
• Line Amount: {'precision': 0.936, 'recall': 0.9435483870967742, 'f1': 0.9397590361445783, 'number': 124}
• Line Item Name: {'precision': 0.8269230769230769, 'recall': 0.86, 'f1': 0.8431372549019608, 'number': 100}
• Line Quantity: {'precision': 0.9142857142857143, 'recall': 0.9504950495049505, 'f1': 0.9320388349514563, 'number': 101}
• Order Date: {'precision': 0.875, 'recall': 0.7777777777777778, 'f1': 0.823529411764706, 'number': 9}
• Payment Terms: {'precision': 0.9090909090909091, 'recall': 0.967741935483871, 'f1': 0.9374999999999999, 'number': 31}
• Po Number: {'precision': 0.9166666666666666, 'recall': 0.8461538461538461, 'f1': 0.8799999999999999, 'number': 26}
• Remit Address: {'precision': 0.7272727272727273, 'recall': 0.8888888888888888, 'f1': 0.7999999999999999, 'number': 9}
• Shipping Address: {'precision': 0.8666666666666667, 'recall': 0.9285714285714286, 'f1': 0.896551724137931, 'number': 14}
• Total Amount: {'precision': 0.94, 'recall': 0.94, 'f1': 0.94, 'number': 50}
• Vendor Address: {'precision': 1.0, 'recall': 0.9565217391304348, 'f1': 0.9777777777777777, 'number': 23}
• Vendor Name: {'precision': 0.8333333333333334, 'recall': 0.9090909090909091, 'f1': 0.8695652173913043, 'number': 33}
• Overall Precision: 0.9486
• Overall Recall: 0.9492
• Overall F1: 0.9489
• Overall Accuracy: 0.9592

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 5e-05
• train_batch_size: 4
• eval_batch_size: 4
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• training_steps: 2000
• mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Other	Billing Address	Currency	Due Date	Invoice Date	Invoice Number	Line Amount	Line Item Name	Line Quantity	Order Date	Payment Terms	Po Number	Remit Address	Shipping Address	Total Amount	Vendor Address	Vendor Name	Overall Precision	Overall Recall	Overall F1	Overall Accuracy
1.1575	1.59	100	0.5815	{'precision': 0.8309915696507427, 'recall': 0.83266291230893, 'f1': 0.8318264014466545, 'number': 2486}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 24}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 5}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 25}	{'precision': 0.33980582524271846, 'recall': 0.7954545454545454, 'f1': 0.47619047619047616, 'number': 44}	{'precision': 0.8333333333333334, 'recall': 0.21739130434782608, 'f1': 0.3448275862068966, 'number': 46}	{'precision': 0.4971751412429379, 'recall': 0.7096774193548387, 'f1': 0.5847176079734219, 'number': 124}	{'precision': 0.2080536912751678, 'recall': 0.62, 'f1': 0.3115577889447236, 'number': 100}	{'precision': 0.6326530612244898, 'recall': 0.3069306930693069, 'f1': 0.4133333333333333, 'number': 101}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 9}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 31}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 26}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 9}	{'precision': 0.017857142857142856, 'recall': 0.07142857142857142, 'f1': 0.028571428571428574, 'number': 14}	{'precision': 0.47368421052631576, 'recall': 0.54, 'f1': 0.5046728971962616, 'number': 50}	{'precision': 0.125, 'recall': 0.08695652173913043, 'f1': 0.10256410256410256, 'number': 23}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 33}	0.6972	0.7384	0.7172	0.8134
0.3697	3.17	200	0.3376	{'precision': 0.9070539419087137, 'recall': 0.8793242156074015, 'f1': 0.8929738562091504, 'number': 2486}	{'precision': 0.3235294117647059, 'recall': 0.4583333333333333, 'f1': 0.3793103448275862, 'number': 24}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 5}	{'precision': 0.4, 'recall': 0.16, 'f1': 0.22857142857142856, 'number': 25}	{'precision': 0.43564356435643564, 'recall': 1.0, 'f1': 0.6068965517241379, 'number': 44}	{'precision': 0.5454545454545454, 'recall': 0.9130434782608695, 'f1': 0.6829268292682926, 'number': 46}	{'precision': 0.8041958041958042, 'recall': 0.9274193548387096, 'f1': 0.8614232209737828, 'number': 124}	{'precision': 0.38271604938271603, 'recall': 0.62, 'f1': 0.47328244274809156, 'number': 100}	{'precision': 0.7086614173228346, 'recall': 0.8910891089108911, 'f1': 0.7894736842105263, 'number': 101}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 9}	{'precision': 0.7435897435897436, 'recall': 0.9354838709677419, 'f1': 0.8285714285714285, 'number': 31}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 26}	{'precision': 0.25, 'recall': 0.3333333333333333, 'f1': 0.28571428571428575, 'number': 9}	{'precision': 0.21428571428571427, 'recall': 0.42857142857142855, 'f1': 0.2857142857142857, 'number': 14}	{'precision': 0.5512820512820513, 'recall': 0.86, 'f1': 0.671875, 'number': 50}	{'precision': 0.875, 'recall': 0.9130434782608695, 'f1': 0.8936170212765957, 'number': 23}	{'precision': 0.7, 'recall': 0.8484848484848485, 'f1': 0.7671232876712328, 'number': 33}	0.8170	0.8521	0.8342	0.8954
0.1782	4.76	300	0.2531	{'precision': 0.9419642857142857, 'recall': 0.9336283185840708, 'f1': 0.9377777777777778, 'number': 2486}	{'precision': 0.7931034482758621, 'recall': 0.9583333333333334, 'f1': 0.8679245283018867, 'number': 24}	{'precision': 0.8333333333333334, 'recall': 1.0, 'f1': 0.9090909090909091, 'number': 5}	{'precision': 0.8260869565217391, 'recall': 0.76, 'f1': 0.7916666666666667, 'number': 25}	{'precision': 0.6825396825396826, 'recall': 0.9772727272727273, 'f1': 0.8037383177570094, 'number': 44}	{'precision': 0.86, 'recall': 0.9347826086956522, 'f1': 0.8958333333333334, 'number': 46}	{'precision': 0.95, 'recall': 0.9193548387096774, 'f1': 0.9344262295081968, 'number': 124}	{'precision': 0.5694444444444444, 'recall': 0.82, 'f1': 0.6721311475409835, 'number': 100}	{'precision': 0.8349514563106796, 'recall': 0.8514851485148515, 'f1': 0.8431372549019608, 'number': 101}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 9}	{'precision': 0.9090909090909091, 'recall': 0.967741935483871, 'f1': 0.9374999999999999, 'number': 31}	{'precision': 1.0, 'recall': 0.15384615384615385, 'f1': 0.2666666666666667, 'number': 26}	{'precision': 0.42857142857142855, 'recall': 0.6666666666666666, 'f1': 0.5217391304347826, 'number': 9}	{'precision': 0.9090909090909091, 'recall': 0.7142857142857143, 'f1': 0.8, 'number': 14}	{'precision': 0.9574468085106383, 'recall': 0.9, 'f1': 0.9278350515463918, 'number': 50}	{'precision': 1.0, 'recall': 0.9130434782608695, 'f1': 0.9545454545454545, 'number': 23}	{'precision': 0.7837837837837838, 'recall': 0.8787878787878788, 'f1': 0.8285714285714285, 'number': 33}	0.9091	0.9146	0.9119	0.9383
0.1085	6.35	400	0.2575	{'precision': 0.951179820992677, 'recall': 0.9404666130329847, 'f1': 0.9457928802588996, 'number': 2486}	{'precision': 0.84, 'recall': 0.875, 'f1': 0.8571428571428572, 'number': 24}	{'precision': 0.8333333333333334, 'recall': 1.0, 'f1': 0.9090909090909091, 'number': 5}	{'precision': 0.8888888888888888, 'recall': 0.96, 'f1': 0.923076923076923, 'number': 25}	{'precision': 0.8888888888888888, 'recall': 0.9090909090909091, 'f1': 0.8988764044943819, 'number': 44}	{'precision': 0.9761904761904762, 'recall': 0.8913043478260869, 'f1': 0.9318181818181818, 'number': 46}	{'precision': 0.9655172413793104, 'recall': 0.9032258064516129, 'f1': 0.9333333333333333, 'number': 124}	{'precision': 0.59375, 'recall': 0.76, 'f1': 0.6666666666666666, 'number': 100}	{'precision': 0.8725490196078431, 'recall': 0.8811881188118812, 'f1': 0.8768472906403942, 'number': 101}	{'precision': 0.5, 'recall': 0.6666666666666666, 'f1': 0.5714285714285715, 'number': 9}	{'precision': 0.8108108108108109, 'recall': 0.967741935483871, 'f1': 0.8823529411764706, 'number': 31}	{'precision': 0.8125, 'recall': 0.5, 'f1': 0.6190476190476191, 'number': 26}	{'precision': 0.5454545454545454, 'recall': 0.6666666666666666, 'f1': 0.6, 'number': 9}	{'precision': 0.8125, 'recall': 0.9285714285714286, 'f1': 0.8666666666666666, 'number': 14}	{'precision': 0.94, 'recall': 0.94, 'f1': 0.94, 'number': 50}	{'precision': 0.9166666666666666, 'recall': 0.9565217391304348, 'f1': 0.9361702127659574, 'number': 23}	{'precision': 0.7894736842105263, 'recall': 0.9090909090909091, 'f1': 0.8450704225352113, 'number': 33}	0.9239	0.9248	0.9243	0.9452
0.071	7.94	500	0.2384	{'precision': 0.9571134020618557, 'recall': 0.9336283185840708, 'f1': 0.9452250050906129, 'number': 2486}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 24}	{'precision': 0.8333333333333334, 'recall': 1.0, 'f1': 0.9090909090909091, 'number': 5}	{'precision': 0.75, 'recall': 0.96, 'f1': 0.8421052631578947, 'number': 25}	{'precision': 0.8775510204081632, 'recall': 0.9772727272727273, 'f1': 0.9247311827956989, 'number': 44}	{'precision': 0.9347826086956522, 'recall': 0.9347826086956522, 'f1': 0.9347826086956522, 'number': 46}	{'precision': 0.9015151515151515, 'recall': 0.9596774193548387, 'f1': 0.9296875, 'number': 124}	{'precision': 0.6982758620689655, 'recall': 0.81, 'f1': 0.75, 'number': 100}	{'precision': 0.8434782608695652, 'recall': 0.9603960396039604, 'f1': 0.8981481481481481, 'number': 101}	{'precision': 0.625, 'recall': 0.5555555555555556, 'f1': 0.5882352941176471, 'number': 9}	{'precision': 0.75, 'recall': 0.967741935483871, 'f1': 0.8450704225352113, 'number': 31}	{'precision': 0.8666666666666667, 'recall': 0.5, 'f1': 0.6341463414634146, 'number': 26}	{'precision': 0.6363636363636364, 'recall': 0.7777777777777778, 'f1': 0.7000000000000001, 'number': 9}	{'precision': 0.9285714285714286, 'recall': 0.9285714285714286, 'f1': 0.9285714285714286, 'number': 14}	{'precision': 0.9411764705882353, 'recall': 0.96, 'f1': 0.9504950495049505, 'number': 50}	{'precision': 1.0, 'recall': 0.9565217391304348, 'f1': 0.9777777777777777, 'number': 23}	{'precision': 0.7317073170731707, 'recall': 0.9090909090909091, 'f1': 0.8108108108108109, 'number': 33}	0.9295	0.9286	0.9290	0.9512
0.0489	9.52	600	0.2392	{'precision': 0.9521863506334287, 'recall': 0.9372485921158488, 'f1': 0.94465842286641, 'number': 2486}	{'precision': 0.8846153846153846, 'recall': 0.9583333333333334, 'f1': 0.9199999999999999, 'number': 24}	{'precision': 0.8333333333333334, 'recall': 1.0, 'f1': 0.9090909090909091, 'number': 5}	{'precision': 0.7666666666666667, 'recall': 0.92, 'f1': 0.8363636363636363, 'number': 25}	{'precision': 0.8958333333333334, 'recall': 0.9772727272727273, 'f1': 0.9347826086956522, 'number': 44}	{'precision': 0.9347826086956522, 'recall': 0.9347826086956522, 'f1': 0.9347826086956522, 'number': 46}	{'precision': 0.9426229508196722, 'recall': 0.9274193548387096, 'f1': 0.9349593495934959, 'number': 124}	{'precision': 0.7079646017699115, 'recall': 0.8, 'f1': 0.7511737089201878, 'number': 100}	{'precision': 0.8495575221238938, 'recall': 0.9504950495049505, 'f1': 0.897196261682243, 'number': 101}	{'precision': 0.7142857142857143, 'recall': 0.5555555555555556, 'f1': 0.6250000000000001, 'number': 9}	{'precision': 0.8823529411764706, 'recall': 0.967741935483871, 'f1': 0.923076923076923, 'number': 31}	{'precision': 0.5652173913043478, 'recall': 0.5, 'f1': 0.5306122448979592, 'number': 26}	{'precision': 0.7, 'recall': 0.7777777777777778, 'f1': 0.7368421052631577, 'number': 9}	{'precision': 0.7647058823529411, 'recall': 0.9285714285714286, 'f1': 0.8387096774193549, 'number': 14}	{'precision': 0.9411764705882353, 'recall': 0.96, 'f1': 0.9504950495049505, 'number': 50}	{'precision': 1.0, 'recall': 0.9565217391304348, 'f1': 0.9777777777777777, 'number': 23}	{'precision': 0.8108108108108109, 'recall': 0.9090909090909091, 'f1': 0.8571428571428571, 'number': 33}	0.9283	0.9289	0.9286	0.9513
0.0399	11.11	700	0.2334	{'precision': 0.9556451612903226, 'recall': 0.9533386967015286, 'f1': 0.9544905356423681, 'number': 2486}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 24}	{'precision': 0.8333333333333334, 'recall': 1.0, 'f1': 0.9090909090909091, 'number': 5}	{'precision': 0.8214285714285714, 'recall': 0.92, 'f1': 0.8679245283018867, 'number': 25}	{'precision': 0.8958333333333334, 'recall': 0.9772727272727273, 'f1': 0.9347826086956522, 'number': 44}	{'precision': 0.9772727272727273, 'recall': 0.9347826086956522, 'f1': 0.9555555555555557, 'number': 46}	{'precision': 0.9022556390977443, 'recall': 0.967741935483871, 'f1': 0.933852140077821, 'number': 124}	{'precision': 0.8333333333333334, 'recall': 0.8, 'f1': 0.816326530612245, 'number': 100}	{'precision': 0.8913043478260869, 'recall': 0.8118811881188119, 'f1': 0.8497409326424871, 'number': 101}	{'precision': 0.8888888888888888, 'recall': 0.8888888888888888, 'f1': 0.8888888888888888, 'number': 9}	{'precision': 0.9375, 'recall': 0.967741935483871, 'f1': 0.9523809523809523, 'number': 31}	{'precision': 0.88, 'recall': 0.8461538461538461, 'f1': 0.8627450980392156, 'number': 26}	{'precision': 0.5454545454545454, 'recall': 0.6666666666666666, 'f1': 0.6, 'number': 9}	{'precision': 0.8666666666666667, 'recall': 0.9285714285714286, 'f1': 0.896551724137931, 'number': 14}	{'precision': 0.9782608695652174, 'recall': 0.9, 'f1': 0.9375, 'number': 50}	{'precision': 1.0, 'recall': 0.9565217391304348, 'f1': 0.9777777777777777, 'number': 23}	{'precision': 0.8529411764705882, 'recall': 0.8787878787878788, 'f1': 0.8656716417910447, 'number': 33}	0.9428	0.9413	0.9420	0.9564
0.0308	12.7	800	0.2947	{'precision': 0.9552361396303901, 'recall': 0.9356395816572808, 'f1': 0.9453363137573665, 'number': 2486}	{'precision': 0.9230769230769231, 'recall': 1.0, 'f1': 0.9600000000000001, 'number': 24}	{'precision': 0.8333333333333334, 'recall': 1.0, 'f1': 0.9090909090909091, 'number': 5}	{'precision': 0.8461538461538461, 'recall': 0.88, 'f1': 0.8627450980392156, 'number': 25}	{'precision': 0.8775510204081632, 'recall': 0.9772727272727273, 'f1': 0.9247311827956989, 'number': 44}	{'precision': 0.9333333333333333, 'recall': 0.9130434782608695, 'f1': 0.9230769230769231, 'number': 46}	{'precision': 0.8880597014925373, 'recall': 0.9596774193548387, 'f1': 0.9224806201550387, 'number': 124}	{'precision': 0.7542372881355932, 'recall': 0.89, 'f1': 0.8165137614678899, 'number': 100}	{'precision': 0.9425287356321839, 'recall': 0.8118811881188119, 'f1': 0.8723404255319149, 'number': 101}	{'precision': 0.875, 'recall': 0.7777777777777778, 'f1': 0.823529411764706, 'number': 9}	{'precision': 0.8857142857142857, 'recall': 1.0, 'f1': 0.9393939393939393, 'number': 31}	{'precision': 0.9130434782608695, 'recall': 0.8076923076923077, 'f1': 0.8571428571428572, 'number': 26}	{'precision': 0.6153846153846154, 'recall': 0.8888888888888888, 'f1': 0.7272727272727274, 'number': 9}	{'precision': 0.9285714285714286, 'recall': 0.9285714285714286, 'f1': 0.9285714285714286, 'number': 14}	{'precision': 0.9230769230769231, 'recall': 0.96, 'f1': 0.9411764705882353, 'number': 50}	{'precision': 0.88, 'recall': 0.9565217391304348, 'f1': 0.9166666666666666, 'number': 23}	{'precision': 0.7560975609756098, 'recall': 0.9393939393939394, 'f1': 0.8378378378378378, 'number': 33}	0.9350	0.9311	0.9330	0.9525
0.0282	14.29	900	0.2718	{'precision': 0.9555375909458367, 'recall': 0.9509251810136766, 'f1': 0.9532258064516129, 'number': 2486}	{'precision': 0.8518518518518519, 'recall': 0.9583333333333334, 'f1': 0.9019607843137256, 'number': 24}	{'precision': 0.8333333333333334, 'recall': 1.0, 'f1': 0.9090909090909091, 'number': 5}	{'precision': 0.8518518518518519, 'recall': 0.92, 'f1': 0.8846153846153846, 'number': 25}	{'precision': 0.8913043478260869, 'recall': 0.9318181818181818, 'f1': 0.9111111111111111, 'number': 44}	{'precision': 0.9565217391304348, 'recall': 0.9565217391304348, 'f1': 0.9565217391304348, 'number': 46}	{'precision': 0.9147286821705426, 'recall': 0.9516129032258065, 'f1': 0.932806324110672, 'number': 124}	{'precision': 0.7264957264957265, 'recall': 0.85, 'f1': 0.7834101382488479, 'number': 100}	{'precision': 0.9381443298969072, 'recall': 0.900990099009901, 'f1': 0.9191919191919191, 'number': 101}	{'precision': 0.8, 'recall': 0.8888888888888888, 'f1': 0.8421052631578948, 'number': 9}	{'precision': 0.9354838709677419, 'recall': 0.9354838709677419, 'f1': 0.9354838709677419, 'number': 31}	{'precision': 0.9166666666666666, 'recall': 0.8461538461538461, 'f1': 0.8799999999999999, 'number': 26}	{'precision': 0.7272727272727273, 'recall': 0.8888888888888888, 'f1': 0.7999999999999999, 'number': 9}	{'precision': 0.8666666666666667, 'recall': 0.9285714285714286, 'f1': 0.896551724137931, 'number': 14}	{'precision': 0.9787234042553191, 'recall': 0.92, 'f1': 0.9484536082474226, 'number': 50}	{'precision': 0.9166666666666666, 'recall': 0.9565217391304348, 'f1': 0.9361702127659574, 'number': 23}	{'precision': 0.8157894736842105, 'recall': 0.9393939393939394, 'f1': 0.8732394366197183, 'number': 33}	0.9382	0.9438	0.9410	0.9569
0.0188	15.87	1000	0.3016	{'precision': 0.9587586770110249, 'recall': 0.9444891391794047, 'f1': 0.9515704154002026, 'number': 2486}	{'precision': 0.88, 'recall': 0.9166666666666666, 'f1': 0.8979591836734694, 'number': 24}	{'precision': 0.8333333333333334, 'recall': 1.0, 'f1': 0.9090909090909091, 'number': 5}	{'precision': 0.8461538461538461, 'recall': 0.88, 'f1': 0.8627450980392156, 'number': 25}	{'precision': 0.8936170212765957, 'recall': 0.9545454545454546, 'f1': 0.9230769230769231, 'number': 44}	{'precision': 0.9361702127659575, 'recall': 0.9565217391304348, 'f1': 0.9462365591397849, 'number': 46}	{'precision': 0.9224806201550387, 'recall': 0.9596774193548387, 'f1': 0.9407114624505929, 'number': 124}	{'precision': 0.7207207207207207, 'recall': 0.8, 'f1': 0.7582938388625592, 'number': 100}	{'precision': 0.9393939393939394, 'recall': 0.9207920792079208, 'f1': 0.9300000000000002, 'number': 101}	{'precision': 0.75, 'recall': 0.6666666666666666, 'f1': 0.7058823529411765, 'number': 9}	{'precision': 0.9310344827586207, 'recall': 0.8709677419354839, 'f1': 0.9, 'number': 31}	{'precision': 0.9545454545454546, 'recall': 0.8076923076923077, 'f1': 0.875, 'number': 26}	{'precision': 0.7272727272727273, 'recall': 0.8888888888888888, 'f1': 0.7999999999999999, 'number': 9}	{'precision': 0.8666666666666667, 'recall': 0.9285714285714286, 'f1': 0.896551724137931, 'number': 14}	{'precision': 0.98, 'recall': 0.98, 'f1': 0.98, 'number': 50}	{'precision': 0.9166666666666666, 'recall': 0.9565217391304348, 'f1': 0.9361702127659574, 'number': 23}	{'precision': 0.8378378378378378, 'recall': 0.9393939393939394, 'f1': 0.8857142857142858, 'number': 33}	0.9416	0.9371	0.9394	0.9550
0.0168	17.46	1100	0.2942	{'precision': 0.9548751007252216, 'recall': 0.9533386967015286, 'f1': 0.9541062801932367, 'number': 2486}	{'precision': 0.92, 'recall': 0.9583333333333334, 'f1': 0.9387755102040817, 'number': 24}	{'precision': 0.8333333333333334, 'recall': 1.0, 'f1': 0.9090909090909091, 'number': 5}	{'precision': 0.8148148148148148, 'recall': 0.88, 'f1': 0.8461538461538461, 'number': 25}	{'precision': 0.8936170212765957, 'recall': 0.9545454545454546, 'f1': 0.9230769230769231, 'number': 44}	{'precision': 0.9555555555555556, 'recall': 0.9347826086956522, 'f1': 0.945054945054945, 'number': 46}	{'precision': 0.9212598425196851, 'recall': 0.9435483870967742, 'f1': 0.9322709163346614, 'number': 124}	{'precision': 0.6837606837606838, 'recall': 0.8, 'f1': 0.7373271889400922, 'number': 100}	{'precision': 0.9223300970873787, 'recall': 0.9405940594059405, 'f1': 0.9313725490196079, 'number': 101}	{'precision': 0.875, 'recall': 0.7777777777777778, 'f1': 0.823529411764706, 'number': 9}	{'precision': 0.9032258064516129, 'recall': 0.9032258064516129, 'f1': 0.9032258064516129, 'number': 31}	{'precision': 0.88, 'recall': 0.8461538461538461, 'f1': 0.8627450980392156, 'number': 26}	{'precision': 0.7272727272727273, 'recall': 0.8888888888888888, 'f1': 0.7999999999999999, 'number': 9}	{'precision': 0.8125, 'recall': 0.9285714285714286, 'f1': 0.8666666666666666, 'number': 14}	{'precision': 0.9565217391304348, 'recall': 0.88, 'f1': 0.9166666666666666, 'number': 50}	{'precision': 0.9130434782608695, 'recall': 0.9130434782608695, 'f1': 0.9130434782608695, 'number': 23}	{'precision': 0.8235294117647058, 'recall': 0.8484848484848485, 'f1': 0.8358208955223881, 'number': 33}	0.9354	0.9422	0.9388	0.9553
0.0153	19.05	1200	0.2782	{'precision': 0.9548361310951239, 'recall': 0.9609814963797265, 'f1': 0.9578989574979953, 'number': 2486}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 24}	{'precision': 0.8333333333333334, 'recall': 1.0, 'f1': 0.9090909090909091, 'number': 5}	{'precision': 0.8333333333333334, 'recall': 0.8, 'f1': 0.816326530612245, 'number': 25}	{'precision': 0.8913043478260869, 'recall': 0.9318181818181818, 'f1': 0.9111111111111111, 'number': 44}	{'precision': 0.9545454545454546, 'recall': 0.9130434782608695, 'f1': 0.9333333333333332, 'number': 46}	{'precision': 0.921875, 'recall': 0.9516129032258065, 'f1': 0.9365079365079365, 'number': 124}	{'precision': 0.8367346938775511, 'recall': 0.82, 'f1': 0.8282828282828283, 'number': 100}	{'precision': 0.9489795918367347, 'recall': 0.9207920792079208, 'f1': 0.934673366834171, 'number': 101}	{'precision': 0.7777777777777778, 'recall': 0.7777777777777778, 'f1': 0.7777777777777778, 'number': 9}	{'precision': 0.9310344827586207, 'recall': 0.8709677419354839, 'f1': 0.9, 'number': 31}	{'precision': 0.9166666666666666, 'recall': 0.8461538461538461, 'f1': 0.8799999999999999, 'number': 26}	{'precision': 0.6666666666666666, 'recall': 0.8888888888888888, 'f1': 0.761904761904762, 'number': 9}	{'precision': 0.8666666666666667, 'recall': 0.9285714285714286, 'f1': 0.896551724137931, 'number': 14}	{'precision': 0.9591836734693877, 'recall': 0.94, 'f1': 0.9494949494949495, 'number': 50}	{'precision': 1.0, 'recall': 0.9565217391304348, 'f1': 0.9777777777777777, 'number': 23}	{'precision': 0.725, 'recall': 0.8787878787878788, 'f1': 0.7945205479452054, 'number': 33}	0.9429	0.9489	0.9459	0.9600
0.0102	20.63	1300	0.3009	{'precision': 0.9611650485436893, 'recall': 0.9557522123893806, 'f1': 0.9584509883017345, 'number': 2486}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 24}	{'precision': 0.8333333333333334, 'recall': 1.0, 'f1': 0.9090909090909091, 'number': 5}	{'precision': 0.88, 'recall': 0.88, 'f1': 0.88, 'number': 25}	{'precision': 0.8936170212765957, 'recall': 0.9545454545454546, 'f1': 0.9230769230769231, 'number': 44}	{'precision': 0.9545454545454546, 'recall': 0.9130434782608695, 'f1': 0.9333333333333332, 'number': 46}	{'precision': 0.9015151515151515, 'recall': 0.9596774193548387, 'f1': 0.9296875, 'number': 124}	{'precision': 0.8269230769230769, 'recall': 0.86, 'f1': 0.8431372549019608, 'number': 100}	{'precision': 0.9065420560747663, 'recall': 0.9603960396039604, 'f1': 0.9326923076923077, 'number': 101}	{'precision': 1.0, 'recall': 0.7777777777777778, 'f1': 0.8750000000000001, 'number': 9}	{'precision': 0.9310344827586207, 'recall': 0.8709677419354839, 'f1': 0.9, 'number': 31}	{'precision': 0.9166666666666666, 'recall': 0.8461538461538461, 'f1': 0.8799999999999999, 'number': 26}	{'precision': 0.6666666666666666, 'recall': 0.8888888888888888, 'f1': 0.761904761904762, 'number': 9}	{'precision': 0.8666666666666667, 'recall': 0.9285714285714286, 'f1': 0.896551724137931, 'number': 14}	{'precision': 0.9791666666666666, 'recall': 0.94, 'f1': 0.9591836734693877, 'number': 50}	{'precision': 1.0, 'recall': 0.9565217391304348, 'f1': 0.9777777777777777, 'number': 23}	{'precision': 0.8108108108108109, 'recall': 0.9090909090909091, 'f1': 0.8571428571428571, 'number': 33}	0.9474	0.9489	0.9481	0.9585
0.008	22.22	1400	0.2937	{'precision': 0.9615851192883138, 'recall': 0.9565567176186646, 'f1': 0.9590643274853803, 'number': 2486}	{'precision': 0.92, 'recall': 0.9583333333333334, 'f1': 0.9387755102040817, 'number': 24}	{'precision': 0.8333333333333334, 'recall': 1.0, 'f1': 0.9090909090909091, 'number': 5}	{'precision': 0.8076923076923077, 'recall': 0.84, 'f1': 0.8235294117647058, 'number': 25}	{'precision': 0.8936170212765957, 'recall': 0.9545454545454546, 'f1': 0.9230769230769231, 'number': 44}	{'precision': 0.9545454545454546, 'recall': 0.9130434782608695, 'f1': 0.9333333333333332, 'number': 46}	{'precision': 0.936, 'recall': 0.9435483870967742, 'f1': 0.9397590361445783, 'number': 124}	{'precision': 0.8018867924528302, 'recall': 0.85, 'f1': 0.8252427184466019, 'number': 100}	{'precision': 0.9065420560747663, 'recall': 0.9603960396039604, 'f1': 0.9326923076923077, 'number': 101}	{'precision': 0.8888888888888888, 'recall': 0.8888888888888888, 'f1': 0.8888888888888888, 'number': 9}	{'precision': 0.9375, 'recall': 0.967741935483871, 'f1': 0.9523809523809523, 'number': 31}	{'precision': 0.9166666666666666, 'recall': 0.8461538461538461, 'f1': 0.8799999999999999, 'number': 26}	{'precision': 0.7272727272727273, 'recall': 0.8888888888888888, 'f1': 0.7999999999999999, 'number': 9}	{'precision': 0.8666666666666667, 'recall': 0.9285714285714286, 'f1': 0.896551724137931, 'number': 14}	{'precision': 0.9795918367346939, 'recall': 0.96, 'f1': 0.9696969696969697, 'number': 50}	{'precision': 1.0, 'recall': 0.9565217391304348, 'f1': 0.9777777777777777, 'number': 23}	{'precision': 0.8529411764705882, 'recall': 0.8787878787878788, 'f1': 0.8656716417910447, 'number': 33}	0.9477	0.9492	0.9485	0.9587
0.0062	23.81	1500	0.3124	{'precision': 0.963023161316538, 'recall': 0.9533386967015286, 'f1': 0.9581564584596726, 'number': 2486}	{'precision': 0.9583333333333334, 'recall': 0.9583333333333334, 'f1': 0.9583333333333334, 'number': 24}	{'precision': 0.8333333333333334, 'recall': 1.0, 'f1': 0.9090909090909091, 'number': 5}	{'precision': 0.7586206896551724, 'recall': 0.88, 'f1': 0.8148148148148148, 'number': 25}	{'precision': 0.8936170212765957, 'recall': 0.9545454545454546, 'f1': 0.9230769230769231, 'number': 44}	{'precision': 0.9545454545454546, 'recall': 0.9130434782608695, 'f1': 0.9333333333333332, 'number': 46}	{'precision': 0.9435483870967742, 'recall': 0.9435483870967742, 'f1': 0.9435483870967742, 'number': 124}	{'precision': 0.7777777777777778, 'recall': 0.77, 'f1': 0.7738693467336684, 'number': 100}	{'precision': 0.9320388349514563, 'recall': 0.9504950495049505, 'f1': 0.9411764705882353, 'number': 101}	{'precision': 0.8888888888888888, 'recall': 0.8888888888888888, 'f1': 0.8888888888888888, 'number': 9}	{'precision': 0.9375, 'recall': 0.967741935483871, 'f1': 0.9523809523809523, 'number': 31}	{'precision': 0.9166666666666666, 'recall': 0.8461538461538461, 'f1': 0.8799999999999999, 'number': 26}	{'precision': 0.6363636363636364, 'recall': 0.7777777777777778, 'f1': 0.7000000000000001, 'number': 9}	{'precision': 0.8125, 'recall': 0.9285714285714286, 'f1': 0.8666666666666666, 'number': 14}	{'precision': 0.9411764705882353, 'recall': 0.96, 'f1': 0.9504950495049505, 'number': 50}	{'precision': 0.9565217391304348, 'recall': 0.9565217391304348, 'f1': 0.9565217391304348, 'number': 23}	{'precision': 0.8055555555555556, 'recall': 0.8787878787878788, 'f1': 0.8405797101449276, 'number': 33}	0.9471	0.9438	0.9455	0.9586
0.0055	25.4	1600	0.3070	{'precision': 0.9619894864537, 'recall': 0.9569589702333066, 'f1': 0.9594676346037508, 'number': 2486}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 24}	{'precision': 0.8333333333333334, 'recall': 1.0, 'f1': 0.9090909090909091, 'number': 5}	{'precision': 0.8076923076923077, 'recall': 0.84, 'f1': 0.8235294117647058, 'number': 25}	{'precision': 0.8913043478260869, 'recall': 0.9318181818181818, 'f1': 0.9111111111111111, 'number': 44}	{'precision': 0.9545454545454546, 'recall': 0.9130434782608695, 'f1': 0.9333333333333332, 'number': 46}	{'precision': 0.936, 'recall': 0.9435483870967742, 'f1': 0.9397590361445783, 'number': 124}	{'precision': 0.8269230769230769, 'recall': 0.86, 'f1': 0.8431372549019608, 'number': 100}	{'precision': 0.9142857142857143, 'recall': 0.9504950495049505, 'f1': 0.9320388349514563, 'number': 101}	{'precision': 0.875, 'recall': 0.7777777777777778, 'f1': 0.823529411764706, 'number': 9}	{'precision': 0.9090909090909091, 'recall': 0.967741935483871, 'f1': 0.9374999999999999, 'number': 31}	{'precision': 0.9166666666666666, 'recall': 0.8461538461538461, 'f1': 0.8799999999999999, 'number': 26}	{'precision': 0.7272727272727273, 'recall': 0.8888888888888888, 'f1': 0.7999999999999999, 'number': 9}	{'precision': 0.8666666666666667, 'recall': 0.9285714285714286, 'f1': 0.896551724137931, 'number': 14}	{'precision': 0.94, 'recall': 0.94, 'f1': 0.94, 'number': 50}	{'precision': 1.0, 'recall': 0.9565217391304348, 'f1': 0.9777777777777777, 'number': 23}	{'precision': 0.8333333333333334, 'recall': 0.9090909090909091, 'f1': 0.8695652173913043, 'number': 33}	0.9486	0.9492	0.9489	0.9592
0.0044	26.98	1700	0.3166	{'precision': 0.9592413236481033, 'recall': 0.9561544650040226, 'f1': 0.9576954069298952, 'number': 2486}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 24}	{'precision': 0.8333333333333334, 'recall': 1.0, 'f1': 0.9090909090909091, 'number': 5}	{'precision': 0.8076923076923077, 'recall': 0.84, 'f1': 0.8235294117647058, 'number': 25}	{'precision': 0.8913043478260869, 'recall': 0.9318181818181818, 'f1': 0.9111111111111111, 'number': 44}	{'precision': 0.9545454545454546, 'recall': 0.9130434782608695, 'f1': 0.9333333333333332, 'number': 46}	{'precision': 0.937007874015748, 'recall': 0.9596774193548387, 'f1': 0.9482071713147411, 'number': 124}	{'precision': 0.8095238095238095, 'recall': 0.85, 'f1': 0.8292682926829269, 'number': 100}	{'precision': 0.9320388349514563, 'recall': 0.9504950495049505, 'f1': 0.9411764705882353, 'number': 101}	{'precision': 0.7777777777777778, 'recall': 0.7777777777777778, 'f1': 0.7777777777777778, 'number': 9}	{'precision': 0.9375, 'recall': 0.967741935483871, 'f1': 0.9523809523809523, 'number': 31}	{'precision': 0.9166666666666666, 'recall': 0.8461538461538461, 'f1': 0.8799999999999999, 'number': 26}	{'precision': 0.7272727272727273, 'recall': 0.8888888888888888, 'f1': 0.7999999999999999, 'number': 9}	{'precision': 0.8666666666666667, 'recall': 0.9285714285714286, 'f1': 0.896551724137931, 'number': 14}	{'precision': 0.9791666666666666, 'recall': 0.94, 'f1': 0.9591836734693877, 'number': 50}	{'precision': 1.0, 'recall': 0.9565217391304348, 'f1': 0.9777777777777777, 'number': 23}	{'precision': 0.8285714285714286, 'recall': 0.8787878787878788, 'f1': 0.8529411764705883, 'number': 33}	0.9471	0.9486	0.9478	0.9579
0.0035	28.57	1800	0.3201	{'precision': 0.9599514563106796, 'recall': 0.9545454545454546, 'f1': 0.9572408229124647, 'number': 2486}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 24}	{'precision': 0.8333333333333334, 'recall': 1.0, 'f1': 0.9090909090909091, 'number': 5}	{'precision': 0.8076923076923077, 'recall': 0.84, 'f1': 0.8235294117647058, 'number': 25}	{'precision': 0.8913043478260869, 'recall': 0.9318181818181818, 'f1': 0.9111111111111111, 'number': 44}	{'precision': 0.9333333333333333, 'recall': 0.9130434782608695, 'f1': 0.9230769230769231, 'number': 46}	{'precision': 0.936, 'recall': 0.9435483870967742, 'f1': 0.9397590361445783, 'number': 124}	{'precision': 0.8, 'recall': 0.84, 'f1': 0.8195121951219512, 'number': 100}	{'precision': 0.9238095238095239, 'recall': 0.9603960396039604, 'f1': 0.941747572815534, 'number': 101}	{'precision': 0.7777777777777778, 'recall': 0.7777777777777778, 'f1': 0.7777777777777778, 'number': 9}	{'precision': 0.90625, 'recall': 0.9354838709677419, 'f1': 0.9206349206349206, 'number': 31}	{'precision': 0.9130434782608695, 'recall': 0.8076923076923077, 'f1': 0.8571428571428572, 'number': 26}	{'precision': 0.7272727272727273, 'recall': 0.8888888888888888, 'f1': 0.7999999999999999, 'number': 9}	{'precision': 0.8666666666666667, 'recall': 0.9285714285714286, 'f1': 0.896551724137931, 'number': 14}	{'precision': 0.9056603773584906, 'recall': 0.96, 'f1': 0.9320388349514563, 'number': 50}	{'precision': 0.9166666666666666, 'recall': 0.9565217391304348, 'f1': 0.9361702127659574, 'number': 23}	{'precision': 0.8333333333333334, 'recall': 0.9090909090909091, 'f1': 0.8695652173913043, 'number': 33}	0.9446	0.9467	0.9456	0.9587
0.0035	30.16	1900	0.3207	{'precision': 0.9588543767648245, 'recall': 0.9561544650040226, 'f1': 0.9575025176233636, 'number': 2486}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 24}	{'precision': 0.8333333333333334, 'recall': 1.0, 'f1': 0.9090909090909091, 'number': 5}	{'precision': 0.8076923076923077, 'recall': 0.84, 'f1': 0.8235294117647058, 'number': 25}	{'precision': 0.8913043478260869, 'recall': 0.9318181818181818, 'f1': 0.9111111111111111, 'number': 44}	{'precision': 0.9333333333333333, 'recall': 0.9130434782608695, 'f1': 0.9230769230769231, 'number': 46}	{'precision': 0.936, 'recall': 0.9435483870967742, 'f1': 0.9397590361445783, 'number': 124}	{'precision': 0.7850467289719626, 'recall': 0.84, 'f1': 0.8115942028985507, 'number': 100}	{'precision': 0.9230769230769231, 'recall': 0.9504950495049505, 'f1': 0.9365853658536586, 'number': 101}	{'precision': 0.7777777777777778, 'recall': 0.7777777777777778, 'f1': 0.7777777777777778, 'number': 9}	{'precision': 0.90625, 'recall': 0.9354838709677419, 'f1': 0.9206349206349206, 'number': 31}	{'precision': 0.9130434782608695, 'recall': 0.8076923076923077, 'f1': 0.8571428571428572, 'number': 26}	{'precision': 0.7272727272727273, 'recall': 0.8888888888888888, 'f1': 0.7999999999999999, 'number': 9}	{'precision': 0.8666666666666667, 'recall': 0.9285714285714286, 'f1': 0.896551724137931, 'number': 14}	{'precision': 0.9787234042553191, 'recall': 0.92, 'f1': 0.9484536082474226, 'number': 50}	{'precision': 1.0, 'recall': 0.9565217391304348, 'f1': 0.9777777777777777, 'number': 23}	{'precision': 0.8333333333333334, 'recall': 0.9090909090909091, 'f1': 0.8695652173913043, 'number': 33}	0.9449	0.9470	0.9459	0.9585
0.0026	31.75	2000	0.3208	{'precision': 0.9580814187827489, 'recall': 0.9561544650040226, 'f1': 0.957116972015301, 'number': 2486}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 24}	{'precision': 0.8333333333333334, 'recall': 1.0, 'f1': 0.9090909090909091, 'number': 5}	{'precision': 0.8076923076923077, 'recall': 0.84, 'f1': 0.8235294117647058, 'number': 25}	{'precision': 0.8913043478260869, 'recall': 0.9318181818181818, 'f1': 0.9111111111111111, 'number': 44}	{'precision': 0.9333333333333333, 'recall': 0.9130434782608695, 'f1': 0.9230769230769231, 'number': 46}	{'precision': 0.9435483870967742, 'recall': 0.9435483870967742, 'f1': 0.9435483870967742, 'number': 124}	{'precision': 0.7904761904761904, 'recall': 0.83, 'f1': 0.8097560975609757, 'number': 100}	{'precision': 0.9207920792079208, 'recall': 0.9207920792079208, 'f1': 0.9207920792079208, 'number': 101}	{'precision': 0.7777777777777778, 'recall': 0.7777777777777778, 'f1': 0.7777777777777778, 'number': 9}	{'precision': 0.90625, 'recall': 0.9354838709677419, 'f1': 0.9206349206349206, 'number': 31}	{'precision': 0.9130434782608695, 'recall': 0.8076923076923077, 'f1': 0.8571428571428572, 'number': 26}	{'precision': 0.7272727272727273, 'recall': 0.8888888888888888, 'f1': 0.7999999999999999, 'number': 9}	{'precision': 0.8666666666666667, 'recall': 0.9285714285714286, 'f1': 0.896551724137931, 'number': 14}	{'precision': 0.9795918367346939, 'recall': 0.96, 'f1': 0.9696969696969697, 'number': 50}	{'precision': 1.0, 'recall': 0.9565217391304348, 'f1': 0.9777777777777777, 'number': 23}	{'precision': 0.8333333333333334, 'recall': 0.9090909090909091, 'f1': 0.8695652173913043, 'number': 33}	0.9448	0.9463	0.9456	0.9583

Framework versions

• Transformers 4.28.0
• Pytorch 2.0.0+cu118
• Datasets 2.12.1.dev0
• Tokenizers 0.13.3