File size: 40,665 Bytes
a452346 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 |
---
license: mit
base_model: VietAI/vit5-base
tags:
- generated_from_trainer
model-index:
- name: vit5-ner-ghtk-cs-new-data-3090-25Aug-1
results: []
---
<!-- This model card has been generated automatically according to the information the Trainer had access to. You
should probably proofread and complete it, then remove this comment. -->
# vit5-ner-ghtk-cs-new-data-3090-25Aug-1
This model is a fine-tuned version of [VietAI/vit5-base](https://huggingface.co/VietAI/vit5-base) on the None dataset.
It achieves the following results on the evaluation set:
- Loss: 2.7568
- cmt: {'precision': 0.36363636363636365, 'recall': 0.5, 'f1': 0.4210526315789474, 'number': 8}
- Tk: {'precision': 0.75625, 'recall': 0.5960591133004927, 'f1': 0.6666666666666667, 'number': 203}
- A: {'precision': 0.9617834394904459, 'recall': 0.949685534591195, 'f1': 0.9556962025316456, 'number': 318}
- Gày: {'precision': 0.5238095238095238, 'recall': 0.6470588235294118, 'f1': 0.5789473684210527, 'number': 17}
- Gày trừu tượng: {'precision': 0.8742857142857143, 'recall': 0.8947368421052632, 'f1': 0.8843930635838151, 'number': 342}
- Gân hàng: {'precision': 0.7692307692307693, 'recall': 0.8, 'f1': 0.7843137254901961, 'number': 25}
- Hương thức thanh toán: {'precision': 0.84, 'recall': 0.875, 'f1': 0.8571428571428572, 'number': 24}
- Hối lượng: {'precision': 0.35714285714285715, 'recall': 0.625, 'f1': 0.45454545454545453, 'number': 8}
- Iền: {'precision': 0.5185185185185185, 'recall': 0.6363636363636364, 'f1': 0.5714285714285714, 'number': 22}
- Iờ: {'precision': 0.6923076923076923, 'recall': 0.84375, 'f1': 0.7605633802816902, 'number': 32}
- Mail: {'precision': 0.9585987261146497, 'recall': 0.9647435897435898, 'f1': 0.9616613418530351, 'number': 312}
- Ã đơn: {'precision': 0.7058823529411765, 'recall': 0.8, 'f1': 0.7500000000000001, 'number': 195}
- Ên người: {'precision': 0.3684210526315789, 'recall': 0.35, 'f1': 0.358974358974359, 'number': 20}
- Đt: {'precision': 0.890625, 'recall': 0.9769683985002678, 'f1': 0.931800766283525, 'number': 1867}
- Đt trừu tượng: {'precision': 0.8169014084507042, 'recall': 0.7891156462585034, 'f1': 0.8027681660899654, 'number': 147}
- Ơn vị đo: {'precision': 0.8421052631578947, 'recall': 0.8421052631578947, 'f1': 0.8421052631578947, 'number': 19}
- Ản phẩm cụ thể: {'precision': 0.7027027027027027, 'recall': 0.5777777777777777, 'f1': 0.6341463414634145, 'number': 45}
- Ản phẩm trừu tượng: {'precision': 0.7222222222222222, 'recall': 0.65, 'f1': 0.6842105263157895, 'number': 20}
- Ịa chỉ cụ thể: {'precision': 0.3076923076923077, 'recall': 0.25806451612903225, 'f1': 0.2807017543859649, 'number': 31}
- Ịa chỉ trừu tượng: {'precision': 0.7358490566037735, 'recall': 0.6842105263157895, 'f1': 0.709090909090909, 'number': 57}
- Overall Precision: 0.8592
- Overall Recall: 0.8990
- Overall F1: 0.8786
- Overall Accuracy: 0.8967
## Model description
More information needed
## Intended uses & limitations
More information needed
## Training and evaluation data
More information needed
## Training procedure
### Training hyperparameters
The following hyperparameters were used during training:
- learning_rate: 2.5e-05
- train_batch_size: 4
- eval_batch_size: 4
- seed: 42
- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
- lr_scheduler_type: linear
- num_epochs: 15
### Training results
| Training Loss | Epoch | Step | Validation Loss | cmt | Tk | A | Gày | Gày trừu tượng | Gân hàng | Hương thức thanh toán | Hối lượng | Iền | Iờ | Mail | Ã đơn | Ên người | Đt | Đt trừu tượng | Ơn vị đo | Ản phẩm cụ thể | Ản phẩm trừu tượng | Ịa chỉ cụ thể | Ịa chỉ trừu tượng | Overall Precision | Overall Recall | Overall F1 | Overall Accuracy |
|:-------------:|:-----:|:-----:|:---------------:|:-----------------------------------------------------------------------------------------:|:--------------------------------------------------------------------------------------------------------:|:--------------------------------------------------------------------------------------------------------:|:---------------------------------------------------------------------------------------------------------:|:--------------------------------------------------------------------------------------------------------:|:-----------------------------------------------------------------------------------------:|:-------------------------------------------------------------------------------------------------------:|:-------------------------------------------------------------------------------------------:|:---------------------------------------------------------------------------------------------------------:|:--------------------------------------------------------------------------------------------:|:--------------------------------------------------------------------------------------------------------:|:--------------------------------------------------------------------------------------------------------:|:-------------------------------------------------------------------------------------------:|:---------------------------------------------------------------------------------------------------------:|:--------------------------------------------------------------------------------------------------------:|:-------------------------------------------------------------------------------------------------------:|:-------------------------------------------------------------------------------------------------------:|:------------------------------------------------------------------------------------------:|:----------------------------------------------------------------------------------------------------------:|:-------------------------------------------------------------------------------------------------------:|:-----------------:|:--------------:|:----------:|:----------------:|
| 0.4279 | 1.0 | 1470 | 1.3941 | {'precision': 0.21621621621621623, 'recall': 1.0, 'f1': 0.35555555555555557, 'number': 8} | {'precision': 1.0, 'recall': 0.21182266009852216, 'f1': 0.3495934959349593, 'number': 203} | {'precision': 0.9219219219219219, 'recall': 0.9654088050314465, 'f1': 0.9431643625192012, 'number': 318} | {'precision': 0.3333333333333333, 'recall': 0.8235294117647058, 'f1': 0.4745762711864407, 'number': 17} | {'precision': 0.8181818181818182, 'recall': 0.8947368421052632, 'f1': 0.8547486033519553, 'number': 342} | {'precision': 0.7692307692307693, 'recall': 0.8, 'f1': 0.7843137254901961, 'number': 25} | {'precision': 0.8076923076923077, 'recall': 0.875, 'f1': 0.8400000000000001, 'number': 24} | {'precision': 0.14814814814814814, 'recall': 0.5, 'f1': 0.22857142857142856, 'number': 8} | {'precision': 0.3235294117647059, 'recall': 0.5, 'f1': 0.3928571428571429, 'number': 22} | {'precision': 0.36923076923076925, 'recall': 0.75, 'f1': 0.4948453608247423, 'number': 32} | {'precision': 0.9283387622149837, 'recall': 0.9134615384615384, 'f1': 0.9208400646203555, 'number': 312} | {'precision': 0.4660493827160494, 'recall': 0.7743589743589744, 'f1': 0.5818882466281311, 'number': 195} | {'precision': 0.2564102564102564, 'recall': 0.5, 'f1': 0.3389830508474576, 'number': 20} | {'precision': 0.8791748526522594, 'recall': 0.9587573647562935, 'f1': 0.9172431462977196, 'number': 1867} | {'precision': 0.6927083333333334, 'recall': 0.9047619047619048, 'f1': 0.784660766961652, 'number': 147} | {'precision': 0.5666666666666667, 'recall': 0.8947368421052632, 'f1': 0.6938775510204083, 'number': 19} | {'precision': 0.7105263157894737, 'recall': 0.6, 'f1': 0.6506024096385543, 'number': 45} | {'precision': 0.6842105263157895, 'recall': 0.65, 'f1': 0.6666666666666667, 'number': 20} | {'precision': 0.24, 'recall': 0.1935483870967742, 'f1': 0.21428571428571427, 'number': 31} | {'precision': 0.5483870967741935, 'recall': 0.5964912280701754, 'f1': 0.5714285714285714, 'number': 57} | 0.7904 | 0.8685 | 0.8276 | 0.8710 |
| 0.5565 | 2.0 | 2940 | 1.6641 | {'precision': 0.18181818181818182, 'recall': 0.25, 'f1': 0.2105263157894737, 'number': 8} | {'precision': 1.0, 'recall': 0.2857142857142857, 'f1': 0.4444444444444445, 'number': 203} | {'precision': 0.9415384615384615, 'recall': 0.9622641509433962, 'f1': 0.9517884914463453, 'number': 318} | {'precision': 0.3333333333333333, 'recall': 0.7058823529411765, 'f1': 0.45283018867924524, 'number': 17} | {'precision': 0.8753623188405797, 'recall': 0.8830409356725146, 'f1': 0.8791848617176128, 'number': 342} | {'precision': 0.64, 'recall': 0.64, 'f1': 0.64, 'number': 25} | {'precision': 0.8461538461538461, 'recall': 0.9166666666666666, 'f1': 0.8799999999999999, 'number': 24} | {'precision': 0.5, 'recall': 0.375, 'f1': 0.42857142857142855, 'number': 8} | {'precision': 0.4444444444444444, 'recall': 0.36363636363636365, 'f1': 0.39999999999999997, 'number': 22} | {'precision': 0.4716981132075472, 'recall': 0.78125, 'f1': 0.588235294117647, 'number': 32} | {'precision': 0.9719298245614035, 'recall': 0.8878205128205128, 'f1': 0.9279731993299833, 'number': 312} | {'precision': 0.5167597765363129, 'recall': 0.9487179487179487, 'f1': 0.6690777576853527, 'number': 195} | {'precision': 0.26666666666666666, 'recall': 0.2, 'f1': 0.2285714285714286, 'number': 20} | {'precision': 0.8198675496688742, 'recall': 0.9946438136047134, 'f1': 0.8988383349467571, 'number': 1867} | {'precision': 0.8270676691729323, 'recall': 0.7482993197278912, 'f1': 0.7857142857142857, 'number': 147} | {'precision': 0.7692307692307693, 'recall': 0.5263157894736842, 'f1': 0.625, 'number': 19} | {'precision': 0.7037037037037037, 'recall': 0.4222222222222222, 'f1': 0.5277777777777777, 'number': 45} | {'precision': 0.6153846153846154, 'recall': 0.4, 'f1': 0.4848484848484849, 'number': 20} | {'precision': 0.22580645161290322, 'recall': 0.22580645161290322, 'f1': 0.22580645161290322, 'number': 31} | {'precision': 0.6785714285714286, 'recall': 0.6666666666666666, 'f1': 0.6725663716814159, 'number': 57} | 0.7975 | 0.8807 | 0.8370 | 0.8497 |
| 0.3428 | 3.0 | 4410 | 1.1250 | {'precision': 0.6666666666666666, 'recall': 1.0, 'f1': 0.8, 'number': 8} | {'precision': 0.6457142857142857, 'recall': 0.5566502463054187, 'f1': 0.5978835978835978, 'number': 203} | {'precision': 0.9737704918032787, 'recall': 0.9339622641509434, 'f1': 0.9534510433386838, 'number': 318} | {'precision': 0.3939393939393939, 'recall': 0.7647058823529411, 'f1': 0.5199999999999999, 'number': 17} | {'precision': 0.8440860215053764, 'recall': 0.9181286549707602, 'f1': 0.8795518207282913, 'number': 342} | {'precision': 0.7307692307692307, 'recall': 0.76, 'f1': 0.7450980392156863, 'number': 25} | {'precision': 0.7692307692307693, 'recall': 0.8333333333333334, 'f1': 0.8, 'number': 24} | {'precision': 0.21052631578947367, 'recall': 0.5, 'f1': 0.2962962962962963, 'number': 8} | {'precision': 0.5555555555555556, 'recall': 0.45454545454545453, 'f1': 0.5, 'number': 22} | {'precision': 0.5652173913043478, 'recall': 0.8125, 'f1': 0.6666666666666667, 'number': 32} | {'precision': 0.9216867469879518, 'recall': 0.9807692307692307, 'f1': 0.9503105590062112, 'number': 312} | {'precision': 0.6618357487922706, 'recall': 0.7025641025641025, 'f1': 0.681592039800995, 'number': 195} | {'precision': 0.38461538461538464, 'recall': 0.25, 'f1': 0.30303030303030304, 'number': 20} | {'precision': 0.8602599814298979, 'recall': 0.9925013390465989, 'f1': 0.9216612782889829, 'number': 1867} | {'precision': 0.7103825136612022, 'recall': 0.8843537414965986, 'f1': 0.7878787878787878, 'number': 147} | {'precision': 0.7142857142857143, 'recall': 0.5263157894736842, 'f1': 0.6060606060606061, 'number': 19} | {'precision': 0.696969696969697, 'recall': 0.5111111111111111, 'f1': 0.5897435897435898, 'number': 45} | {'precision': 0.6363636363636364, 'recall': 0.35, 'f1': 0.45161290322580644, 'number': 20} | {'precision': 0.15384615384615385, 'recall': 0.12903225806451613, 'f1': 0.14035087719298245, 'number': 31} | {'precision': 0.6415094339622641, 'recall': 0.5964912280701754, 'f1': 0.6181818181818182, 'number': 57} | 0.8213 | 0.8979 | 0.8579 | 0.8936 |
| 0.2065 | 4.0 | 5880 | 1.2166 | {'precision': 0.4375, 'recall': 0.875, 'f1': 0.5833333333333334, 'number': 8} | {'precision': 0.6680161943319838, 'recall': 0.812807881773399, 'f1': 0.7333333333333333, 'number': 203} | {'precision': 0.9552715654952076, 'recall': 0.940251572327044, 'f1': 0.94770206022187, 'number': 318} | {'precision': 0.38235294117647056, 'recall': 0.7647058823529411, 'f1': 0.5098039215686274, 'number': 17} | {'precision': 0.8849557522123894, 'recall': 0.8771929824561403, 'f1': 0.8810572687224669, 'number': 342} | {'precision': 0.7, 'recall': 0.84, 'f1': 0.7636363636363636, 'number': 25} | {'precision': 0.8076923076923077, 'recall': 0.875, 'f1': 0.8400000000000001, 'number': 24} | {'precision': 0.4, 'recall': 0.5, 'f1': 0.4444444444444445, 'number': 8} | {'precision': 0.5, 'recall': 0.6363636363636364, 'f1': 0.56, 'number': 22} | {'precision': 0.5609756097560976, 'recall': 0.71875, 'f1': 0.6301369863013699, 'number': 32} | {'precision': 0.941717791411043, 'recall': 0.9839743589743589, 'f1': 0.9623824451410657, 'number': 312} | {'precision': 0.6014760147601476, 'recall': 0.8358974358974359, 'f1': 0.6995708154506437, 'number': 195} | {'precision': 0.4, 'recall': 0.4, 'f1': 0.4000000000000001, 'number': 20} | {'precision': 0.891358024691358, 'recall': 0.9667916443492234, 'f1': 0.9275436793422406, 'number': 1867} | {'precision': 0.6648648648648648, 'recall': 0.8367346938775511, 'f1': 0.7409638554216866, 'number': 147} | {'precision': 0.75, 'recall': 0.631578947368421, 'f1': 0.6857142857142857, 'number': 19} | {'precision': 0.7647058823529411, 'recall': 0.5777777777777777, 'f1': 0.6582278481012658, 'number': 45} | {'precision': 0.625, 'recall': 0.75, 'f1': 0.6818181818181818, 'number': 20} | {'precision': 0.1111111111111111, 'recall': 0.0967741935483871, 'f1': 0.10344827586206896, 'number': 31} | {'precision': 0.5846153846153846, 'recall': 0.6666666666666666, 'f1': 0.6229508196721312, 'number': 57} | 0.8259 | 0.9071 | 0.8646 | 0.8922 |
| 0.1611 | 5.0 | 7350 | 1.4493 | {'precision': 0.4166666666666667, 'recall': 0.625, 'f1': 0.5, 'number': 8} | {'precision': 0.6704545454545454, 'recall': 0.8719211822660099, 'f1': 0.7580299785867238, 'number': 203} | {'precision': 0.9498432601880877, 'recall': 0.9528301886792453, 'f1': 0.9513343799058084, 'number': 318} | {'precision': 0.36666666666666664, 'recall': 0.6470588235294118, 'f1': 0.46808510638297873, 'number': 17} | {'precision': 0.8539944903581267, 'recall': 0.9064327485380117, 'f1': 0.8794326241134751, 'number': 342} | {'precision': 0.7407407407407407, 'recall': 0.8, 'f1': 0.7692307692307692, 'number': 25} | {'precision': 0.8, 'recall': 0.8333333333333334, 'f1': 0.816326530612245, 'number': 24} | {'precision': 0.3333333333333333, 'recall': 0.5, 'f1': 0.4, 'number': 8} | {'precision': 0.55, 'recall': 0.5, 'f1': 0.5238095238095238, 'number': 22} | {'precision': 0.5, 'recall': 0.75, 'f1': 0.6, 'number': 32} | {'precision': 0.9691780821917808, 'recall': 0.907051282051282, 'f1': 0.9370860927152319, 'number': 312} | {'precision': 0.6713615023474179, 'recall': 0.7333333333333333, 'f1': 0.7009803921568627, 'number': 195} | {'precision': 0.3684210526315789, 'recall': 0.35, 'f1': 0.358974358974359, 'number': 20} | {'precision': 0.8805609284332688, 'recall': 0.9753615425816818, 'f1': 0.9255400254129605, 'number': 1867} | {'precision': 0.779874213836478, 'recall': 0.8435374149659864, 'f1': 0.8104575163398693, 'number': 147} | {'precision': 0.7894736842105263, 'recall': 0.7894736842105263, 'f1': 0.7894736842105263, 'number': 19} | {'precision': 0.7894736842105263, 'recall': 0.6666666666666666, 'f1': 0.7228915662650601, 'number': 45} | {'precision': 0.7058823529411765, 'recall': 0.6, 'f1': 0.6486486486486486, 'number': 20} | {'precision': 0.2413793103448276, 'recall': 0.22580645161290322, 'f1': 0.23333333333333334, 'number': 31} | {'precision': 0.76, 'recall': 0.6666666666666666, 'f1': 0.7102803738317756, 'number': 57} | 0.8362 | 0.9065 | 0.8700 | 0.8938 |
| 0.1397 | 6.0 | 8820 | 1.7623 | {'precision': 0.8, 'recall': 1.0, 'f1': 0.888888888888889, 'number': 8} | {'precision': 0.7302631578947368, 'recall': 0.5467980295566502, 'f1': 0.6253521126760564, 'number': 203} | {'precision': 0.9526813880126183, 'recall': 0.949685534591195, 'f1': 0.9511811023622048, 'number': 318} | {'precision': 0.46153846153846156, 'recall': 0.7058823529411765, 'f1': 0.558139534883721, 'number': 17} | {'precision': 0.8603351955307262, 'recall': 0.9005847953216374, 'f1': 0.8799999999999999, 'number': 342} | {'precision': 0.7037037037037037, 'recall': 0.76, 'f1': 0.7307692307692308, 'number': 25} | {'precision': 0.875, 'recall': 0.875, 'f1': 0.875, 'number': 24} | {'precision': 0.2, 'recall': 0.25, 'f1': 0.22222222222222224, 'number': 8} | {'precision': 0.5909090909090909, 'recall': 0.5909090909090909, 'f1': 0.5909090909090909, 'number': 22} | {'precision': 0.5555555555555556, 'recall': 0.625, 'f1': 0.5882352941176471, 'number': 32} | {'precision': 0.9640522875816994, 'recall': 0.9455128205128205, 'f1': 0.9546925566343043, 'number': 312} | {'precision': 0.6583333333333333, 'recall': 0.8102564102564103, 'f1': 0.7264367816091953, 'number': 195} | {'precision': 0.36363636363636365, 'recall': 0.4, 'f1': 0.380952380952381, 'number': 20} | {'precision': 0.8753009147809341, 'recall': 0.9737546866630958, 'f1': 0.9219066937119674, 'number': 1867} | {'precision': 0.7804878048780488, 'recall': 0.8707482993197279, 'f1': 0.8231511254019294, 'number': 147} | {'precision': 0.8125, 'recall': 0.6842105263157895, 'f1': 0.742857142857143, 'number': 19} | {'precision': 0.7, 'recall': 0.6222222222222222, 'f1': 0.6588235294117647, 'number': 45} | {'precision': 0.7222222222222222, 'recall': 0.65, 'f1': 0.6842105263157895, 'number': 20} | {'precision': 0.16666666666666666, 'recall': 0.16129032258064516, 'f1': 0.16393442622950818, 'number': 31} | {'precision': 0.6909090909090909, 'recall': 0.6666666666666666, 'f1': 0.6785714285714286, 'number': 57} | 0.8405 | 0.8944 | 0.8666 | 0.8914 |
| 0.0995 | 7.0 | 10290 | 2.0166 | {'precision': 0.6363636363636364, 'recall': 0.875, 'f1': 0.7368421052631579, 'number': 8} | {'precision': 0.7019867549668874, 'recall': 0.5221674876847291, 'f1': 0.5988700564971752, 'number': 203} | {'precision': 0.9735099337748344, 'recall': 0.9245283018867925, 'f1': 0.9483870967741936, 'number': 318} | {'precision': 0.6470588235294118, 'recall': 0.6470588235294118, 'f1': 0.6470588235294118, 'number': 17} | {'precision': 0.8813056379821959, 'recall': 0.868421052631579, 'f1': 0.8748159057437407, 'number': 342} | {'precision': 0.7142857142857143, 'recall': 0.8, 'f1': 0.7547169811320756, 'number': 25} | {'precision': 0.8695652173913043, 'recall': 0.8333333333333334, 'f1': 0.851063829787234, 'number': 24} | {'precision': 0.26666666666666666, 'recall': 0.5, 'f1': 0.3478260869565218, 'number': 8} | {'precision': 0.5925925925925926, 'recall': 0.7272727272727273, 'f1': 0.6530612244897959, 'number': 22} | {'precision': 0.675, 'recall': 0.84375, 'f1': 0.75, 'number': 32} | {'precision': 0.9333333333333333, 'recall': 0.9423076923076923, 'f1': 0.937799043062201, 'number': 312} | {'precision': 0.6666666666666666, 'recall': 0.7897435897435897, 'f1': 0.7230046948356806, 'number': 195} | {'precision': 0.4444444444444444, 'recall': 0.4, 'f1': 0.4210526315789474, 'number': 20} | {'precision': 0.8566729323308271, 'recall': 0.9764327798607392, 'f1': 0.9126408010012516, 'number': 1867} | {'precision': 0.8071428571428572, 'recall': 0.7687074829931972, 'f1': 0.7874564459930313, 'number': 147} | {'precision': 0.8235294117647058, 'recall': 0.7368421052631579, 'f1': 0.7777777777777778, 'number': 19} | {'precision': 0.6666666666666666, 'recall': 0.5333333333333333, 'f1': 0.5925925925925926, 'number': 45} | {'precision': 0.7058823529411765, 'recall': 0.6, 'f1': 0.6486486486486486, 'number': 20} | {'precision': 0.21212121212121213, 'recall': 0.22580645161290322, 'f1': 0.21875, 'number': 31} | {'precision': 0.7708333333333334, 'recall': 0.6491228070175439, 'f1': 0.7047619047619048, 'number': 57} | 0.8358 | 0.8858 | 0.8601 | 0.8924 |
| 0.0408 | 8.0 | 11760 | 2.0541 | {'precision': 0.5714285714285714, 'recall': 0.5, 'f1': 0.5333333333333333, 'number': 8} | {'precision': 0.6976744186046512, 'recall': 0.5911330049261084, 'f1': 0.64, 'number': 203} | {'precision': 0.9525316455696202, 'recall': 0.9465408805031447, 'f1': 0.9495268138801262, 'number': 318} | {'precision': 0.47619047619047616, 'recall': 0.5882352941176471, 'f1': 0.5263157894736842, 'number': 17} | {'precision': 0.8775510204081632, 'recall': 0.8801169590643275, 'f1': 0.8788321167883212, 'number': 342} | {'precision': 0.7241379310344828, 'recall': 0.84, 'f1': 0.7777777777777777, 'number': 25} | {'precision': 0.84, 'recall': 0.875, 'f1': 0.8571428571428572, 'number': 24} | {'precision': 0.3333333333333333, 'recall': 0.5, 'f1': 0.4, 'number': 8} | {'precision': 0.6111111111111112, 'recall': 0.5, 'f1': 0.55, 'number': 22} | {'precision': 0.6774193548387096, 'recall': 0.65625, 'f1': 0.6666666666666667, 'number': 32} | {'precision': 0.9514563106796117, 'recall': 0.9423076923076923, 'f1': 0.9468599033816425, 'number': 312} | {'precision': 0.7014925373134329, 'recall': 0.7230769230769231, 'f1': 0.712121212121212, 'number': 195} | {'precision': 0.45, 'recall': 0.45, 'f1': 0.45, 'number': 20} | {'precision': 0.8904176904176904, 'recall': 0.9705409748259239, 'f1': 0.9287544848795489, 'number': 1867} | {'precision': 0.795774647887324, 'recall': 0.7687074829931972, 'f1': 0.7820069204152249, 'number': 147} | {'precision': 0.8235294117647058, 'recall': 0.7368421052631579, 'f1': 0.7777777777777778, 'number': 19} | {'precision': 0.5833333333333334, 'recall': 0.3111111111111111, 'f1': 0.4057971014492754, 'number': 45} | {'precision': 0.7647058823529411, 'recall': 0.65, 'f1': 0.7027027027027027, 'number': 20} | {'precision': 0.2222222222222222, 'recall': 0.1935483870967742, 'f1': 0.20689655172413793, 'number': 31} | {'precision': 0.74, 'recall': 0.6491228070175439, 'f1': 0.6915887850467289, 'number': 57} | 0.8561 | 0.8801 | 0.8680 | 0.8918 |
| 0.0461 | 9.0 | 13230 | 2.2896 | {'precision': 0.75, 'recall': 0.75, 'f1': 0.75, 'number': 8} | {'precision': 0.7535211267605634, 'recall': 0.5270935960591133, 'f1': 0.6202898550724638, 'number': 203} | {'precision': 0.9707792207792207, 'recall': 0.940251572327044, 'f1': 0.9552715654952075, 'number': 318} | {'precision': 0.5652173913043478, 'recall': 0.7647058823529411, 'f1': 0.65, 'number': 17} | {'precision': 0.8724637681159421, 'recall': 0.8801169590643275, 'f1': 0.8762736535662301, 'number': 342} | {'precision': 0.7777777777777778, 'recall': 0.84, 'f1': 0.8076923076923077, 'number': 25} | {'precision': 0.8076923076923077, 'recall': 0.875, 'f1': 0.8400000000000001, 'number': 24} | {'precision': 0.35714285714285715, 'recall': 0.625, 'f1': 0.45454545454545453, 'number': 8} | {'precision': 0.7, 'recall': 0.6363636363636364, 'f1': 0.6666666666666666, 'number': 22} | {'precision': 0.5897435897435898, 'recall': 0.71875, 'f1': 0.6478873239436619, 'number': 32} | {'precision': 0.9611650485436893, 'recall': 0.9519230769230769, 'f1': 0.9565217391304348, 'number': 312} | {'precision': 0.6666666666666666, 'recall': 0.8, 'f1': 0.7272727272727272, 'number': 195} | {'precision': 0.4444444444444444, 'recall': 0.4, 'f1': 0.4210526315789474, 'number': 20} | {'precision': 0.8626425855513308, 'recall': 0.9721478307445099, 'f1': 0.9141274238227146, 'number': 1867} | {'precision': 0.8692307692307693, 'recall': 0.7687074829931972, 'f1': 0.8158844765342961, 'number': 147} | {'precision': 0.7272727272727273, 'recall': 0.8421052631578947, 'f1': 0.7804878048780488, 'number': 19} | {'precision': 0.7647058823529411, 'recall': 0.5777777777777777, 'f1': 0.6582278481012658, 'number': 45} | {'precision': 0.65, 'recall': 0.65, 'f1': 0.65, 'number': 20} | {'precision': 0.2682926829268293, 'recall': 0.3548387096774194, 'f1': 0.3055555555555556, 'number': 31} | {'precision': 0.72, 'recall': 0.631578947368421, 'f1': 0.6728971962616822, 'number': 57} | 0.8434 | 0.8893 | 0.8657 | 0.8927 |
| 0.0441 | 10.0 | 14700 | 2.4986 | {'precision': 0.36363636363636365, 'recall': 0.5, 'f1': 0.4210526315789474, 'number': 8} | {'precision': 0.7150837988826816, 'recall': 0.6305418719211823, 'f1': 0.6701570680628273, 'number': 203} | {'precision': 0.9583333333333334, 'recall': 0.940251572327044, 'f1': 0.9492063492063493, 'number': 318} | {'precision': 0.6, 'recall': 0.7058823529411765, 'f1': 0.6486486486486486, 'number': 17} | {'precision': 0.8859649122807017, 'recall': 0.8859649122807017, 'f1': 0.8859649122807017, 'number': 342} | {'precision': 0.6774193548387096, 'recall': 0.84, 'f1': 0.75, 'number': 25} | {'precision': 0.7692307692307693, 'recall': 0.8333333333333334, 'f1': 0.8, 'number': 24} | {'precision': 0.35714285714285715, 'recall': 0.625, 'f1': 0.45454545454545453, 'number': 8} | {'precision': 0.5862068965517241, 'recall': 0.7727272727272727, 'f1': 0.6666666666666667, 'number': 22} | {'precision': 0.5609756097560976, 'recall': 0.71875, 'f1': 0.6301369863013699, 'number': 32} | {'precision': 0.9612903225806452, 'recall': 0.9551282051282052, 'f1': 0.9581993569131833, 'number': 312} | {'precision': 0.7, 'recall': 0.7538461538461538, 'f1': 0.725925925925926, 'number': 195} | {'precision': 0.3888888888888889, 'recall': 0.35, 'f1': 0.36842105263157887, 'number': 20} | {'precision': 0.882295719844358, 'recall': 0.9716122121049813, 'f1': 0.924802447106806, 'number': 1867} | {'precision': 0.8322147651006712, 'recall': 0.8435374149659864, 'f1': 0.8378378378378378, 'number': 147} | {'precision': 0.8235294117647058, 'recall': 0.7368421052631579, 'f1': 0.7777777777777778, 'number': 19} | {'precision': 0.7241379310344828, 'recall': 0.4666666666666667, 'f1': 0.5675675675675675, 'number': 45} | {'precision': 0.6842105263157895, 'recall': 0.65, 'f1': 0.6666666666666667, 'number': 20} | {'precision': 0.2413793103448276, 'recall': 0.22580645161290322, 'f1': 0.23333333333333334, 'number': 31} | {'precision': 0.6551724137931034, 'recall': 0.6666666666666666, 'f1': 0.6608695652173913, 'number': 57} | 0.85 | 0.8930 | 0.8710 | 0.8944 |
| 0.0197 | 11.0 | 16170 | 2.4599 | {'precision': 0.36363636363636365, 'recall': 0.5, 'f1': 0.4210526315789474, 'number': 8} | {'precision': 0.7413793103448276, 'recall': 0.6354679802955665, 'f1': 0.6843501326259948, 'number': 203} | {'precision': 0.9614147909967846, 'recall': 0.940251572327044, 'f1': 0.9507154213036566, 'number': 318} | {'precision': 0.5454545454545454, 'recall': 0.7058823529411765, 'f1': 0.6153846153846153, 'number': 17} | {'precision': 0.8703170028818443, 'recall': 0.8830409356725146, 'f1': 0.876632801161103, 'number': 342} | {'precision': 0.7407407407407407, 'recall': 0.8, 'f1': 0.7692307692307692, 'number': 25} | {'precision': 0.7692307692307693, 'recall': 0.8333333333333334, 'f1': 0.8, 'number': 24} | {'precision': 0.4166666666666667, 'recall': 0.625, 'f1': 0.5, 'number': 8} | {'precision': 0.5, 'recall': 0.6363636363636364, 'f1': 0.56, 'number': 22} | {'precision': 0.7, 'recall': 0.875, 'f1': 0.7777777777777777, 'number': 32} | {'precision': 0.952076677316294, 'recall': 0.9551282051282052, 'f1': 0.9536, 'number': 312} | {'precision': 0.7050691244239631, 'recall': 0.7846153846153846, 'f1': 0.7427184466019418, 'number': 195} | {'precision': 0.5333333333333333, 'recall': 0.4, 'f1': 0.4571428571428572, 'number': 20} | {'precision': 0.9025, 'recall': 0.9667916443492234, 'f1': 0.9335402120506853, 'number': 1867} | {'precision': 0.7986111111111112, 'recall': 0.782312925170068, 'f1': 0.7903780068728522, 'number': 147} | {'precision': 0.8421052631578947, 'recall': 0.8421052631578947, 'f1': 0.8421052631578947, 'number': 19} | {'precision': 0.7241379310344828, 'recall': 0.4666666666666667, 'f1': 0.5675675675675675, 'number': 45} | {'precision': 0.7222222222222222, 'recall': 0.65, 'f1': 0.6842105263157895, 'number': 20} | {'precision': 0.23333333333333334, 'recall': 0.22580645161290322, 'f1': 0.22950819672131148, 'number': 31} | {'precision': 0.6909090909090909, 'recall': 0.6666666666666666, 'f1': 0.6785714285714286, 'number': 57} | 0.8616 | 0.8909 | 0.8760 | 0.8958 |
| 0.0323 | 12.0 | 17640 | 2.6217 | {'precision': 0.3333333333333333, 'recall': 0.5, 'f1': 0.4, 'number': 8} | {'precision': 0.7483870967741936, 'recall': 0.5714285714285714, 'f1': 0.6480446927374303, 'number': 203} | {'precision': 0.9615384615384616, 'recall': 0.9433962264150944, 'f1': 0.9523809523809524, 'number': 318} | {'precision': 0.45, 'recall': 0.5294117647058824, 'f1': 0.48648648648648646, 'number': 17} | {'precision': 0.893491124260355, 'recall': 0.8830409356725146, 'f1': 0.8882352941176469, 'number': 342} | {'precision': 0.7692307692307693, 'recall': 0.8, 'f1': 0.7843137254901961, 'number': 25} | {'precision': 0.7692307692307693, 'recall': 0.8333333333333334, 'f1': 0.8, 'number': 24} | {'precision': 0.3333333333333333, 'recall': 0.5, 'f1': 0.4, 'number': 8} | {'precision': 0.4, 'recall': 0.5454545454545454, 'f1': 0.4615384615384615, 'number': 22} | {'precision': 0.6136363636363636, 'recall': 0.84375, 'f1': 0.7105263157894737, 'number': 32} | {'precision': 0.9609120521172638, 'recall': 0.9455128205128205, 'f1': 0.9531502423263328, 'number': 312} | {'precision': 0.7064220183486238, 'recall': 0.7897435897435897, 'f1': 0.7457627118644069, 'number': 195} | {'precision': 0.4375, 'recall': 0.35, 'f1': 0.38888888888888884, 'number': 20} | {'precision': 0.8872691933916423, 'recall': 0.9780396357793251, 'f1': 0.9304458598726114, 'number': 1867} | {'precision': 0.7741935483870968, 'recall': 0.8163265306122449, 'f1': 0.794701986754967, 'number': 147} | {'precision': 0.8421052631578947, 'recall': 0.8421052631578947, 'f1': 0.8421052631578947, 'number': 19} | {'precision': 0.7307692307692307, 'recall': 0.4222222222222222, 'f1': 0.5352112676056338, 'number': 45} | {'precision': 0.7368421052631579, 'recall': 0.7, 'f1': 0.717948717948718, 'number': 20} | {'precision': 0.25925925925925924, 'recall': 0.22580645161290322, 'f1': 0.24137931034482757, 'number': 31} | {'precision': 0.6666666666666666, 'recall': 0.6666666666666666, 'f1': 0.6666666666666666, 'number': 57} | 0.8538 | 0.8917 | 0.8723 | 0.8923 |
| 0.0308 | 13.0 | 19110 | 2.6367 | {'precision': 0.3076923076923077, 'recall': 0.5, 'f1': 0.380952380952381, 'number': 8} | {'precision': 0.7628205128205128, 'recall': 0.5862068965517241, 'f1': 0.6629526462395543, 'number': 203} | {'precision': 0.9647435897435898, 'recall': 0.9465408805031447, 'f1': 0.9555555555555556, 'number': 318} | {'precision': 0.4782608695652174, 'recall': 0.6470588235294118, 'f1': 0.55, 'number': 17} | {'precision': 0.8852941176470588, 'recall': 0.8801169590643275, 'f1': 0.8826979472140762, 'number': 342} | {'precision': 0.7307692307692307, 'recall': 0.76, 'f1': 0.7450980392156863, 'number': 25} | {'precision': 0.84, 'recall': 0.875, 'f1': 0.8571428571428572, 'number': 24} | {'precision': 0.3333333333333333, 'recall': 0.5, 'f1': 0.4, 'number': 8} | {'precision': 0.46153846153846156, 'recall': 0.5454545454545454, 'f1': 0.4999999999999999, 'number': 22} | {'precision': 0.6052631578947368, 'recall': 0.71875, 'f1': 0.6571428571428571, 'number': 32} | {'precision': 0.9555555555555556, 'recall': 0.9647435897435898, 'f1': 0.960127591706539, 'number': 312} | {'precision': 0.7098214285714286, 'recall': 0.8153846153846154, 'f1': 0.7589498806682579, 'number': 195} | {'precision': 0.5263157894736842, 'recall': 0.5, 'f1': 0.5128205128205129, 'number': 20} | {'precision': 0.8851187590887057, 'recall': 0.9780396357793251, 'f1': 0.9292620865139949, 'number': 1867} | {'precision': 0.8068965517241379, 'recall': 0.7959183673469388, 'f1': 0.8013698630136987, 'number': 147} | {'precision': 0.8333333333333334, 'recall': 0.7894736842105263, 'f1': 0.8108108108108109, 'number': 19} | {'precision': 0.75, 'recall': 0.5333333333333333, 'f1': 0.6233766233766235, 'number': 45} | {'precision': 0.7368421052631579, 'recall': 0.7, 'f1': 0.717948717948718, 'number': 20} | {'precision': 0.2916666666666667, 'recall': 0.22580645161290322, 'f1': 0.2545454545454545, 'number': 31} | {'precision': 0.7450980392156863, 'recall': 0.6666666666666666, 'f1': 0.7037037037037038, 'number': 57} | 0.8570 | 0.8960 | 0.8761 | 0.8943 |
| 0.014 | 14.0 | 20580 | 2.7100 | {'precision': 0.4444444444444444, 'recall': 0.5, 'f1': 0.47058823529411764, 'number': 8} | {'precision': 0.7763157894736842, 'recall': 0.5812807881773399, 'f1': 0.6647887323943662, 'number': 203} | {'precision': 0.9587301587301588, 'recall': 0.949685534591195, 'f1': 0.9541864139020537, 'number': 318} | {'precision': 0.5454545454545454, 'recall': 0.7058823529411765, 'f1': 0.6153846153846153, 'number': 17} | {'precision': 0.8739255014326648, 'recall': 0.8918128654970761, 'f1': 0.8827785817655571, 'number': 342} | {'precision': 0.7692307692307693, 'recall': 0.8, 'f1': 0.7843137254901961, 'number': 25} | {'precision': 0.8, 'recall': 0.8333333333333334, 'f1': 0.816326530612245, 'number': 24} | {'precision': 0.35714285714285715, 'recall': 0.625, 'f1': 0.45454545454545453, 'number': 8} | {'precision': 0.5185185185185185, 'recall': 0.6363636363636364, 'f1': 0.5714285714285714, 'number': 22} | {'precision': 0.6666666666666666, 'recall': 0.8125, 'f1': 0.7323943661971831, 'number': 32} | {'precision': 0.9584664536741214, 'recall': 0.9615384615384616, 'f1': 0.96, 'number': 312} | {'precision': 0.751219512195122, 'recall': 0.7897435897435897, 'f1': 0.7699999999999999, 'number': 195} | {'precision': 0.3684210526315789, 'recall': 0.35, 'f1': 0.358974358974359, 'number': 20} | {'precision': 0.8914956011730205, 'recall': 0.9769683985002678, 'f1': 0.9322770253002812, 'number': 1867} | {'precision': 0.8169014084507042, 'recall': 0.7891156462585034, 'f1': 0.8027681660899654, 'number': 147} | {'precision': 0.8421052631578947, 'recall': 0.8421052631578947, 'f1': 0.8421052631578947, 'number': 19} | {'precision': 0.7647058823529411, 'recall': 0.5777777777777777, 'f1': 0.6582278481012658, 'number': 45} | {'precision': 0.7368421052631579, 'recall': 0.7, 'f1': 0.717948717948718, 'number': 20} | {'precision': 0.3076923076923077, 'recall': 0.25806451612903225, 'f1': 0.2807017543859649, 'number': 31} | {'precision': 0.7647058823529411, 'recall': 0.6842105263157895, 'f1': 0.7222222222222222, 'number': 57} | 0.8645 | 0.8971 | 0.8805 | 0.8977 |
| 0.0092 | 15.0 | 22050 | 2.7568 | {'precision': 0.36363636363636365, 'recall': 0.5, 'f1': 0.4210526315789474, 'number': 8} | {'precision': 0.75625, 'recall': 0.5960591133004927, 'f1': 0.6666666666666667, 'number': 203} | {'precision': 0.9617834394904459, 'recall': 0.949685534591195, 'f1': 0.9556962025316456, 'number': 318} | {'precision': 0.5238095238095238, 'recall': 0.6470588235294118, 'f1': 0.5789473684210527, 'number': 17} | {'precision': 0.8742857142857143, 'recall': 0.8947368421052632, 'f1': 0.8843930635838151, 'number': 342} | {'precision': 0.7692307692307693, 'recall': 0.8, 'f1': 0.7843137254901961, 'number': 25} | {'precision': 0.84, 'recall': 0.875, 'f1': 0.8571428571428572, 'number': 24} | {'precision': 0.35714285714285715, 'recall': 0.625, 'f1': 0.45454545454545453, 'number': 8} | {'precision': 0.5185185185185185, 'recall': 0.6363636363636364, 'f1': 0.5714285714285714, 'number': 22} | {'precision': 0.6923076923076923, 'recall': 0.84375, 'f1': 0.7605633802816902, 'number': 32} | {'precision': 0.9585987261146497, 'recall': 0.9647435897435898, 'f1': 0.9616613418530351, 'number': 312} | {'precision': 0.7058823529411765, 'recall': 0.8, 'f1': 0.7500000000000001, 'number': 195} | {'precision': 0.3684210526315789, 'recall': 0.35, 'f1': 0.358974358974359, 'number': 20} | {'precision': 0.890625, 'recall': 0.9769683985002678, 'f1': 0.931800766283525, 'number': 1867} | {'precision': 0.8169014084507042, 'recall': 0.7891156462585034, 'f1': 0.8027681660899654, 'number': 147} | {'precision': 0.8421052631578947, 'recall': 0.8421052631578947, 'f1': 0.8421052631578947, 'number': 19} | {'precision': 0.7027027027027027, 'recall': 0.5777777777777777, 'f1': 0.6341463414634145, 'number': 45} | {'precision': 0.7222222222222222, 'recall': 0.65, 'f1': 0.6842105263157895, 'number': 20} | {'precision': 0.3076923076923077, 'recall': 0.25806451612903225, 'f1': 0.2807017543859649, 'number': 31} | {'precision': 0.7358490566037735, 'recall': 0.6842105263157895, 'f1': 0.709090909090909, 'number': 57} | 0.8592 | 0.8990 | 0.8786 | 0.8967 |
### Framework versions
- Transformers 4.44.0
- Pytorch 2.3.1+cu121
- Datasets 2.19.1
- Tokenizers 0.19.1
|