Hugging Face's logo

mnavas
/
beto-finetuned-token-reqadjzar

Token Classification
Transformers
PyTorch
TensorBoard
bert
Generated from Trainer
Inference Endpoints
Model card Files Metrics Community
beto-finetuned-token-reqadjzar / README.md
María Navas Loro
update model card README.md
f42ec53
preview code
|
raw
history blame contribute delete
19.8 kB
metadata
tags:
  - generated_from_trainer
metrics:
  - precision
  - recall
  - f1
  - accuracy
model-index:
  - name: beto-finetuned-token-reqadjzar
    results: []

beto-finetuned-token-reqadjzar

This model is a fine-tuned version of dccuchile/bert-base-spanish-wwm-cased on an unknown dataset. It achieves the following results on the evaluation set:

  • Loss: 1.1061
  • Precision: 0.2533
  • Recall: 0.3333
  • F1: 0.2879
  • Accuracy: 0.8498

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 0.0001
  • train_batch_size: 8
  • eval_batch_size: 8
  • seed: 42
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: linear
  • num_epochs: 200

Training results

Training Loss Epoch Step Validation Loss Precision Recall F1 Accuracy
0.7331 1.0 24 0.5920 0.0 0.0 0.0 0.7532
0.4759 2.0 48 0.3954 0.0085 0.0175 0.0115 0.8321
0.3186 3.0 72 0.5127 0.0188 0.0702 0.0296 0.8159
0.1906 4.0 96 0.4865 0.1190 0.2632 0.1639 0.8509
0.145 5.0 120 0.4650 0.1597 0.3333 0.2159 0.8760
0.1107 6.0 144 0.5465 0.1062 0.2105 0.1412 0.8514
0.0903 7.0 168 0.5441 0.1359 0.2456 0.175 0.8796
0.0698 8.0 192 0.4353 0.1204 0.2281 0.1576 0.8842
0.0505 9.0 216 0.7170 0.19 0.3333 0.2420 0.8432
0.0687 10.0 240 0.5893 0.1963 0.3684 0.2561 0.8860
0.039 11.0 264 0.5877 0.1951 0.4211 0.2667 0.8780
0.0278 12.0 288 0.5715 0.2237 0.2982 0.2556 0.8577
0.0354 13.0 312 0.9535 0.2283 0.3684 0.2819 0.8532
0.024 14.0 336 0.6500 0.2169 0.3158 0.2571 0.8674
0.0223 15.0 360 0.7513 0.1855 0.4035 0.2541 0.8722
0.0156 16.0 384 0.6566 0.3 0.4737 0.3673 0.9012
0.0156 17.0 408 0.8436 0.2292 0.3860 0.2876 0.8696
0.0189 18.0 432 0.8043 0.1711 0.2281 0.1955 0.8181
0.0128 19.0 456 0.6518 0.1619 0.2982 0.2099 0.8814
0.0122 20.0 480 0.8418 0.2347 0.4035 0.2968 0.8793
0.0242 21.0 504 0.7948 0.2292 0.3860 0.2876 0.8814
0.0124 22.0 528 0.8059 0.2037 0.3860 0.2667 0.8842
0.0098 23.0 552 0.9458 0.1765 0.2632 0.2113 0.8584
0.0287 24.0 576 0.7110 0.1488 0.3158 0.2022 0.8825
0.0253 25.0 600 0.6823 0.2021 0.3333 0.2517 0.8781
0.0151 26.0 624 0.7382 0.2022 0.3158 0.2466 0.8791
0.0118 27.0 648 0.6036 0.2360 0.3684 0.2877 0.8965
0.0102 28.0 672 0.9152 0.1765 0.3158 0.2264 0.8446
0.0229 29.0 696 0.6878 0.2584 0.4035 0.3151 0.8982
0.0168 30.0 720 0.7333 0.2784 0.4737 0.3506 0.8937
0.0145 31.0 744 0.6051 0.1864 0.3860 0.2514 0.9
0.0207 32.0 768 0.9083 0.3279 0.3509 0.3390 0.8894
0.0191 33.0 792 0.6983 0.2222 0.3509 0.2721 0.8884
0.0103 34.0 816 0.7287 0.2449 0.4211 0.3097 0.8840
0.0091 35.0 840 0.5929 0.2184 0.3333 0.2639 0.8851
0.0059 36.0 864 0.7604 0.2421 0.4035 0.3026 0.8810
0.0035 37.0 888 0.9380 0.2143 0.3684 0.2710 0.8622
0.0025 38.0 912 0.9824 0.2 0.3509 0.2548 0.8704
0.0059 39.0 936 1.0658 0.2796 0.4561 0.3467 0.8669
0.0199 40.0 960 0.9755 0.1705 0.3860 0.2366 0.8449
0.0034 41.0 984 0.9697 0.2619 0.3860 0.3121 0.8656
0.0035 42.0 1008 1.0582 0.1959 0.3333 0.2468 0.8461
0.0088 43.0 1032 0.8500 0.1849 0.3860 0.25 0.8515
0.0263 44.0 1056 1.2832 0.2 0.3509 0.2548 0.8255
0.0088 45.0 1080 0.9282 0.2308 0.4211 0.2981 0.8534
0.0343 46.0 1104 0.7165 0.2222 0.3158 0.2609 0.8594
0.0024 47.0 1128 0.7355 0.2308 0.4737 0.3103 0.8782
0.0019 48.0 1152 0.6493 0.2165 0.3684 0.2727 0.8779
0.0009 49.0 1176 0.6999 0.1964 0.3860 0.2604 0.8766
0.0008 50.0 1200 0.7496 0.2062 0.3509 0.2597 0.8709
0.0009 51.0 1224 0.7670 0.2019 0.3684 0.2609 0.8750
0.0006 52.0 1248 0.7549 0.24 0.4211 0.3057 0.8832
0.0007 53.0 1272 0.7556 0.2706 0.4035 0.3239 0.8870
0.0007 54.0 1296 0.7188 0.1695 0.3509 0.2286 0.8833
0.0005 55.0 1320 0.7120 0.1927 0.3684 0.2530 0.8822
0.0009 56.0 1344 0.7377 0.2245 0.3860 0.2839 0.8819
0.0008 57.0 1368 0.7295 0.2277 0.4035 0.2911 0.8859
0.0009 58.0 1392 0.7158 0.2340 0.3860 0.2914 0.8900
0.0013 59.0 1416 0.6715 0.1897 0.3860 0.2543 0.8941
0.0006 60.0 1440 0.6787 0.21 0.3684 0.2675 0.8861
0.0007 61.0 1464 0.6794 0.2584 0.4035 0.3151 0.8940
0.0012 62.0 1488 0.6823 0.2273 0.3509 0.2759 0.8778
0.0008 63.0 1512 0.7189 0.2588 0.3860 0.3099 0.8791
0.0008 64.0 1536 0.7077 0.2371 0.4035 0.2987 0.8905
0.0007 65.0 1560 0.7201 0.2738 0.4035 0.3262 0.8860
0.0005 66.0 1584 0.7339 0.2584 0.4035 0.3151 0.8894
0.0005 67.0 1608 0.7490 0.2157 0.3860 0.2767 0.8845
0.0006 68.0 1632 0.7342 0.2162 0.4211 0.2857 0.8833
0.0012 69.0 1656 0.7287 0.3108 0.4035 0.3511 0.8895
0.0012 70.0 1680 0.8877 0.2079 0.3684 0.2658 0.8615
0.0007 71.0 1704 0.9370 0.2095 0.3860 0.2716 0.8644
0.002 72.0 1728 0.7715 0.2391 0.3860 0.2953 0.8677
0.0007 73.0 1752 0.8765 0.22 0.3860 0.2803 0.8628
0.0006 74.0 1776 0.8515 0.2371 0.4035 0.2987 0.8639
0.0007 75.0 1800 0.8448 0.2286 0.4211 0.2963 0.8633
0.0009 76.0 1824 0.8501 0.2232 0.4386 0.2959 0.8650
0.0007 77.0 1848 0.8550 0.2198 0.3509 0.2703 0.8657
0.0005 78.0 1872 0.7445 0.25 0.4035 0.3087 0.8780
0.0007 79.0 1896 0.8889 0.26 0.4561 0.3312 0.8630
0.0005 80.0 1920 0.8930 0.2812 0.4737 0.3529 0.8650
0.0004 81.0 1944 0.8678 0.26 0.4561 0.3312 0.8745
0.0005 82.0 1968 0.8747 0.2784 0.4737 0.3506 0.8746
0.0005 83.0 1992 0.8726 0.2872 0.4737 0.3576 0.8687
0.001 84.0 2016 0.8887 0.2857 0.4211 0.3404 0.8693
0.0006 85.0 2040 0.7915 0.2963 0.4211 0.3478 0.8821
0.0007 86.0 2064 1.0194 0.2857 0.4211 0.3404 0.8606
0.0009 87.0 2088 0.7594 0.2366 0.3860 0.2933 0.8777
0.0021 88.0 2112 0.9788 0.25 0.3333 0.2857 0.8539
0.0012 89.0 2136 0.8719 0.2093 0.3158 0.2517 0.8697
0.0019 90.0 2160 1.1859 0.1810 0.3684 0.2428 0.8111
0.001 91.0 2184 0.9690 0.2118 0.3158 0.2535 0.8421
0.0007 92.0 2208 0.9863 0.1880 0.3860 0.2529 0.8495
0.0006 93.0 2232 0.9942 0.1868 0.2982 0.2297 0.8641
0.0007 94.0 2256 1.0118 0.2159 0.3333 0.2621 0.8637
0.0007 95.0 2280 1.0435 0.2754 0.3333 0.3016 0.8615
0.0008 96.0 2304 0.9795 0.2471 0.3684 0.2958 0.8657
0.0007 97.0 2328 0.9189 0.2020 0.3509 0.2564 0.8807
0.0009 98.0 2352 0.9240 0.2273 0.3509 0.2759 0.8762
0.0005 99.0 2376 0.8891 0.2561 0.3684 0.3022 0.8821
0.0004 100.0 2400 0.9028 0.2469 0.3509 0.2899 0.8818
0.0004 101.0 2424 0.9228 0.2410 0.3509 0.2857 0.8830
0.0004 102.0 2448 0.9409 0.2278 0.3158 0.2647 0.8795
0.0006 103.0 2472 0.9777 0.24 0.3158 0.2727 0.8796
0.0005 104.0 2496 0.9872 0.2432 0.3158 0.2748 0.8791
0.0006 105.0 2520 0.9820 0.2329 0.2982 0.2615 0.8746
0.0006 106.0 2544 1.0301 0.2879 0.3333 0.3089 0.8702
0.0006 107.0 2568 1.0468 0.3226 0.3509 0.3361 0.8637
0.0004 108.0 2592 1.0155 0.2941 0.3509 0.3200 0.8683
0.0005 109.0 2616 0.9970 0.2821 0.3860 0.3259 0.8678
0.0004 110.0 2640 1.0453 0.28 0.3684 0.3182 0.8687
0.0009 111.0 2664 0.9247 0.2278 0.3158 0.2647 0.8747
0.0006 112.0 2688 0.8811 0.2785 0.3860 0.3235 0.8921
0.0005 113.0 2712 0.9462 0.1905 0.2807 0.2270 0.8817
0.0005 114.0 2736 0.9685 0.2078 0.2807 0.2388 0.8792
0.0006 115.0 2760 1.0339 0.2712 0.2807 0.2759 0.8672
0.0004 116.0 2784 1.0155 0.2571 0.3158 0.2835 0.8687
0.0005 117.0 2808 0.9998 0.25 0.3509 0.2920 0.8768
0.0006 118.0 2832 0.9849 0.2473 0.4035 0.3067 0.8715
0.0033 119.0 2856 0.7929 0.2376 0.4211 0.3038 0.8832
0.0485 120.0 2880 0.9585 0.2 0.2807 0.2336 0.8585
0.0114 121.0 2904 0.7619 0.2472 0.3860 0.3014 0.8831
0.0177 122.0 2928 0.7737 0.2881 0.2982 0.2931 0.8688
0.02 123.0 2952 1.1362 0.1959 0.3333 0.2468 0.8214
0.0056 124.0 2976 1.2073 0.3659 0.2632 0.3061 0.8277
0.0208 125.0 3000 0.8549 0.2162 0.2807 0.2443 0.8430
0.0066 126.0 3024 0.9482 0.2667 0.2807 0.2735 0.8383
0.0155 127.0 3048 0.7532 0.2289 0.3333 0.2714 0.8629
0.0091 128.0 3072 0.7973 0.2368 0.3158 0.2707 0.8524
0.0029 129.0 3096 0.8988 0.25 0.3684 0.2979 0.8621
0.0054 130.0 3120 0.9882 0.2299 0.3509 0.2778 0.8362
0.0037 131.0 3144 1.0792 0.2093 0.3158 0.2517 0.8468
0.0012 132.0 3168 0.9729 0.2632 0.3509 0.3008 0.8427
0.0009 133.0 3192 0.9521 0.2043 0.3333 0.2533 0.8416
0.0011 134.0 3216 0.9539 0.1978 0.3158 0.2432 0.8401
0.0006 135.0 3240 0.9692 0.2754 0.3333 0.3016 0.8504
0.0007 136.0 3264 0.9811 0.2603 0.3333 0.2923 0.8526
0.0007 137.0 3288 0.9732 0.25 0.3333 0.2857 0.8444
0.0004 138.0 3312 0.9955 0.2278 0.3158 0.2647 0.8373
0.0005 139.0 3336 0.9939 0.2466 0.3158 0.2769 0.8389
0.001 140.0 3360 1.0081 0.2432 0.3158 0.2748 0.8377
0.0006 141.0 3384 1.0216 0.2308 0.3158 0.2667 0.8404
0.0005 142.0 3408 1.0364 0.25 0.3158 0.2791 0.8332
0.0004 143.0 3432 1.0185 0.2571 0.3158 0.2835 0.8426
0.0006 144.0 3456 1.0168 0.2603 0.3333 0.2923 0.8458
0.0005 145.0 3480 1.0079 0.2754 0.3333 0.3016 0.8476
0.0006 146.0 3504 1.0080 0.25 0.3333 0.2857 0.8438
0.0004 147.0 3528 1.0194 0.2346 0.3333 0.2754 0.8396
0.0004 148.0 3552 1.0299 0.2262 0.3333 0.2695 0.8373
0.0005 149.0 3576 1.0331 0.2289 0.3333 0.2714 0.8387
0.0004 150.0 3600 1.0294 0.2436 0.3333 0.2815 0.8412
0.0004 151.0 3624 1.0366 0.2405 0.3333 0.2794 0.8410
0.0004 152.0 3648 1.0533 0.2468 0.3333 0.2836 0.8448
0.0005 153.0 3672 1.0379 0.2879 0.3333 0.3089 0.8458
0.0005 154.0 3696 1.0395 0.2836 0.3333 0.3065 0.8454
0.0004 155.0 3720 1.0438 0.2836 0.3333 0.3065 0.8453
0.0004 156.0 3744 1.0475 0.2879 0.3333 0.3089 0.8453
0.0004 157.0 3768 1.0558 0.2794 0.3333 0.304 0.8450
0.0004 158.0 3792 1.0596 0.2754 0.3333 0.3016 0.8444
0.0004 159.0 3816 1.0633 0.2836 0.3333 0.3065 0.8445
0.0004 160.0 3840 1.0653 0.2836 0.3333 0.3065 0.8445
0.0004 161.0 3864 1.0687 0.2754 0.3333 0.3016 0.8446
0.0004 162.0 3888 1.0732 0.2714 0.3333 0.2992 0.8448
0.0005 163.0 3912 1.0729 0.2568 0.3333 0.2901 0.8444
0.0004 164.0 3936 1.0764 0.2533 0.3333 0.2879 0.8436
0.0005 165.0 3960 1.0737 0.2794 0.3333 0.304 0.8465
0.0005 166.0 3984 1.0700 0.2754 0.3333 0.3016 0.8482
0.0004 167.0 4008 1.0679 0.2794 0.3333 0.304 0.8496
0.0005 168.0 4032 1.0695 0.2676 0.3333 0.2969 0.8498
0.0004 169.0 4056 1.0704 0.2714 0.3333 0.2992 0.8498
0.0005 170.0 4080 1.0716 0.2794 0.3333 0.304 0.8495
0.0004 171.0 4104 1.0702 0.2639 0.3333 0.2946 0.8498
0.0005 172.0 4128 1.0713 0.25 0.3333 0.2857 0.8491
0.0004 173.0 4152 1.0736 0.2436 0.3333 0.2815 0.8491
0.0005 174.0 4176 1.0808 0.2568 0.3333 0.2901 0.8486
0.0004 175.0 4200 1.0867 0.2639 0.3333 0.2946 0.8486
0.0004 176.0 4224 1.0899 0.2754 0.3333 0.3016 0.8486
0.0004 177.0 4248 1.0900 0.2603 0.3333 0.2923 0.8486
0.0005 178.0 4272 1.0871 0.2754 0.3333 0.3016 0.8489
0.0004 179.0 4296 1.0863 0.2794 0.3333 0.304 0.8492
0.0004 180.0 4320 1.0892 0.2754 0.3333 0.3016 0.8493
0.0004 181.0 4344 1.0919 0.2639 0.3333 0.2946 0.8489
0.0004 182.0 4368 1.0933 0.2639 0.3333 0.2946 0.8490
0.0004 183.0 4392 1.0949 0.2639 0.3333 0.2946 0.8489
0.0004 184.0 4416 1.0953 0.2639 0.3333 0.2946 0.8489
0.0004 185.0 4440 1.1031 0.2714 0.3333 0.2992 0.8496
0.0004 186.0 4464 1.1049 0.2639 0.3333 0.2946 0.8494
0.0004 187.0 4488 1.1082 0.2676 0.3333 0.2969 0.8495
0.0004 188.0 4512 1.1091 0.2639 0.3333 0.2946 0.8494
0.0004 189.0 4536 1.1109 0.2639 0.3333 0.2946 0.8494
0.0004 190.0 4560 1.1119 0.2639 0.3333 0.2946 0.8494
0.0004 191.0 4584 1.1129 0.2603 0.3333 0.2923 0.8494
0.0004 192.0 4608 1.1139 0.2639 0.3333 0.2946 0.8494
0.0005 193.0 4632 1.1051 0.2676 0.3333 0.2969 0.8497
0.0004 194.0 4656 1.1037 0.2639 0.3333 0.2946 0.8495
0.0004 195.0 4680 1.1045 0.2568 0.3333 0.2901 0.8496
0.0004 196.0 4704 1.1052 0.2568 0.3333 0.2901 0.8496
0.0004 197.0 4728 1.1057 0.2568 0.3333 0.2901 0.8496
0.0004 198.0 4752 1.1057 0.2533 0.3333 0.2879 0.8497
0.0004 199.0 4776 1.1061 0.2533 0.3333 0.2879 0.8497
0.0004 200.0 4800 1.1061 0.2533 0.3333 0.2879 0.8498

Framework versions

  • Transformers 4.31.0.dev0
  • Pytorch 2.0.0
  • Datasets 2.1.0
  • Tokenizers 0.13.3