Hugging Face's logo

mnavas
/
beto-finetuned-token-reqadjzar

Token Classification
Transformers
PyTorch
TensorBoard
bert
Generated from Trainer
Inference Endpoints
Model card Files Metrics Community
beto-finetuned-token-reqadjzar / README.md
María Navas Loro
update model card README.md
a811c65
preview code
|
raw
history blame
19.8 kB
metadata
tags:
  - generated_from_trainer
metrics:
  - precision
  - recall
  - f1
  - accuracy
model-index:
  - name: beto-finetuned-token-reqadjzar
    results: []

beto-finetuned-token-reqadjzar

This model is a fine-tuned version of dccuchile/bert-base-spanish-wwm-cased on an unknown dataset. It achieves the following results on the evaluation set:

  • Loss: 1.9170
  • Precision: 0.1525
  • Recall: 0.45
  • F1: 0.2278
  • Accuracy: 0.7971

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 0.0001
  • train_batch_size: 8
  • eval_batch_size: 8
  • seed: 42
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: linear
  • num_epochs: 200

Training results

Training Loss Epoch Step Validation Loss Precision Recall F1 Accuracy
0.8289 1.0 14 0.5344 0.0 0.0 0.0 0.7428
0.4847 2.0 28 0.4436 0.0 0.0 0.0 0.7546
0.3512 3.0 42 0.5584 0.0 0.0 0.0 0.7643
0.2789 4.0 56 0.5861 0.0 0.0 0.0 0.8250
0.185 5.0 70 0.7569 0.0606 0.2 0.0930 0.7602
0.1408 6.0 84 0.9035 0.0678 0.2 0.1013 0.7775
0.1417 7.0 98 0.6097 0.0755 0.2 0.1096 0.8311
0.0693 8.0 112 0.9226 0.1061 0.35 0.1628 0.7727
0.0571 9.0 126 0.6895 0.0769 0.2 0.1111 0.8
0.0414 10.0 140 1.0235 0.1698 0.45 0.2466 0.8131
0.0276 11.0 154 0.9588 0.1628 0.35 0.2222 0.8054
0.0265 12.0 168 1.1193 0.0882 0.3 0.1364 0.7751
0.0277 13.0 182 1.3907 0.1579 0.45 0.2338 0.7878
0.0216 14.0 196 1.2417 0.1311 0.4 0.1975 0.7825
0.0261 15.0 210 1.1495 0.1429 0.4 0.2105 0.8071
0.019 16.0 224 1.5922 0.1475 0.45 0.2222 0.7508
0.0274 17.0 238 1.1795 0.1176 0.4 0.1818 0.8045
0.0198 18.0 252 1.2508 0.1053 0.4 0.1667 0.7848
0.0136 19.0 266 1.1545 0.1695 0.5 0.2532 0.7899
0.0084 20.0 280 1.4068 0.2051 0.4 0.2712 0.8276
0.0051 21.0 294 1.5559 0.1667 0.4 0.2353 0.8170
0.0064 22.0 308 1.7301 0.1220 0.5 0.1961 0.7875
0.0032 23.0 322 1.5436 0.1957 0.45 0.2727 0.8198
0.0023 24.0 336 1.7796 0.1364 0.45 0.2093 0.7846
0.0076 25.0 350 1.7765 0.1923 0.5 0.2778 0.7943
0.0056 26.0 364 1.6022 0.2759 0.4 0.3265 0.8211
0.0194 27.0 378 1.1911 0.1346 0.35 0.1944 0.8394
0.0286 28.0 392 1.2321 0.1739 0.4 0.2424 0.7839
0.0095 29.0 406 1.3354 0.1695 0.5 0.2532 0.7623
0.0031 30.0 420 1.6826 0.1724 0.5 0.2564 0.7543
0.0017 31.0 434 1.7094 0.1607 0.45 0.2368 0.7834
0.0023 32.0 448 1.7899 0.1538 0.4 0.2222 0.7694
0.0016 33.0 462 1.7496 0.1698 0.45 0.2466 0.7766
0.0017 34.0 476 1.8328 0.1818 0.5 0.2667 0.7677
0.0026 35.0 490 2.0814 0.1875 0.45 0.2647 0.7594
0.0088 36.0 504 1.5723 0.12 0.45 0.1895 0.7570
0.0031 37.0 518 1.4726 0.1569 0.4 0.2254 0.8006
0.0064 38.0 532 2.4796 0.2759 0.4 0.3265 0.7287
0.0032 39.0 546 2.0958 0.1186 0.35 0.1772 0.7339
0.0024 40.0 560 2.1926 0.2162 0.4 0.2807 0.7487
0.0117 41.0 574 1.9346 0.1961 0.5 0.2817 0.7213
0.053 42.0 588 2.4844 0.2333 0.35 0.28 0.7317
0.0172 43.0 602 1.1900 0.1148 0.35 0.1728 0.8118
0.0084 44.0 616 1.3718 0.1515 0.5 0.2326 0.8115
0.0141 45.0 630 1.3623 0.1356 0.4 0.2025 0.7938
0.0044 46.0 644 1.2805 0.1552 0.45 0.2308 0.8080
0.0031 47.0 658 1.8072 0.1636 0.45 0.24 0.7946
0.0066 48.0 672 2.3164 0.1892 0.35 0.2456 0.7154
0.002 49.0 686 2.2669 0.175 0.35 0.2333 0.7380
0.0033 50.0 700 1.5042 0.1385 0.45 0.2118 0.7997
0.0027 51.0 714 1.3601 0.1515 0.5 0.2326 0.8225
0.0025 52.0 728 1.4208 0.1698 0.45 0.2466 0.8018
0.0048 53.0 742 1.5204 0.1636 0.45 0.24 0.8030
0.0046 54.0 756 1.6875 0.1429 0.45 0.2169 0.7842
0.0052 55.0 770 1.4927 0.1739 0.4 0.2424 0.8201
0.0055 56.0 784 1.3876 0.1731 0.45 0.25 0.8084
0.0027 57.0 798 1.4384 0.1702 0.4 0.2388 0.8163
0.0019 58.0 812 1.6044 0.1569 0.4 0.2254 0.8205
0.0012 59.0 826 1.6617 0.1538 0.4 0.2222 0.8208
0.0009 60.0 840 1.6607 0.225 0.45 0.3 0.8164
0.0012 61.0 854 1.5158 0.1818 0.4 0.2500 0.8195
0.0011 62.0 868 1.5161 0.2 0.45 0.2769 0.8225
0.0009 63.0 882 1.5669 0.2045 0.45 0.2813 0.8232
0.0008 64.0 896 1.5988 0.2045 0.45 0.2813 0.8237
0.0011 65.0 910 1.5689 0.2195 0.45 0.2951 0.8243
0.0008 66.0 924 1.5746 0.225 0.45 0.3 0.8243
0.0009 67.0 938 1.5815 0.2045 0.45 0.2813 0.8235
0.0007 68.0 952 1.5532 0.1739 0.4 0.2424 0.8232
0.0009 69.0 966 1.5724 0.1702 0.4 0.2388 0.8238
0.0008 70.0 980 1.6021 0.1778 0.4 0.2462 0.8238
0.0008 71.0 994 1.6159 0.1778 0.4 0.2462 0.8238
0.0007 72.0 1008 1.6047 0.1702 0.4 0.2388 0.8232
0.0007 73.0 1022 1.6468 0.2 0.45 0.2769 0.8217
0.0007 74.0 1036 1.6592 0.2093 0.45 0.2857 0.8222
0.0008 75.0 1050 1.6642 0.2143 0.45 0.2903 0.8220
0.0008 76.0 1064 1.6042 0.2195 0.45 0.2951 0.8244
0.0007 77.0 1078 1.5905 0.225 0.45 0.3 0.8247
0.001 78.0 1092 1.6081 0.225 0.45 0.3 0.8249
0.0007 79.0 1106 1.6255 0.225 0.45 0.3 0.8249
0.0007 80.0 1120 1.6583 0.2093 0.45 0.2857 0.8270
0.0009 81.0 1134 1.5953 0.2308 0.45 0.3051 0.8261
0.0012 82.0 1148 1.9475 0.1216 0.45 0.1915 0.7919
0.0025 83.0 1162 1.8182 0.1098 0.45 0.1765 0.7929
0.01 84.0 1176 1.7011 0.2051 0.4 0.2712 0.8033
0.0025 85.0 1190 1.6036 0.1493 0.5 0.2299 0.7790
0.0099 86.0 1204 1.9946 0.25 0.4 0.3077 0.7787
0.0037 87.0 1218 1.4567 0.1356 0.4 0.2025 0.7821
0.0044 88.0 1232 1.4056 0.1778 0.4 0.2462 0.8109
0.0025 89.0 1246 1.5609 0.1628 0.35 0.2222 0.7573
0.0026 90.0 1260 1.5755 0.1739 0.4 0.2424 0.7732
0.003 91.0 1274 1.5189 0.2812 0.45 0.3462 0.7831
0.0015 92.0 1288 1.5804 0.1169 0.45 0.1856 0.7707
0.0012 93.0 1302 1.4188 0.2195 0.45 0.2951 0.8054
0.0047 94.0 1316 1.4388 0.2174 0.5 0.3030 0.7992
0.0009 95.0 1330 1.5773 0.1667 0.45 0.2432 0.7958
0.0011 96.0 1344 1.5059 0.1837 0.45 0.2609 0.8
0.001 97.0 1358 1.5438 0.1731 0.45 0.25 0.7891
0.0007 98.0 1372 1.6020 0.1552 0.45 0.2308 0.7947
0.0009 99.0 1386 1.6698 0.2 0.45 0.2769 0.7881
0.001 100.0 1400 1.7616 0.1875 0.45 0.2647 0.7554
0.0007 101.0 1414 1.8242 0.2 0.45 0.2769 0.7554
0.0007 102.0 1428 1.8466 0.2 0.45 0.2769 0.7555
0.0008 103.0 1442 1.8634 0.2045 0.45 0.2813 0.7555
0.0007 104.0 1456 1.9182 0.2045 0.45 0.2813 0.7555
0.0007 105.0 1470 1.9461 0.2093 0.45 0.2857 0.7552
0.0007 106.0 1484 1.9311 0.2143 0.45 0.2903 0.7558
0.0009 107.0 1498 1.9476 0.2143 0.45 0.2903 0.7558
0.0006 108.0 1512 1.9806 0.2195 0.45 0.2951 0.7548
0.0007 109.0 1526 2.0085 0.2045 0.45 0.2813 0.7543
0.0008 110.0 1540 2.0216 0.2 0.45 0.2769 0.7540
0.0008 111.0 1554 2.0290 0.2 0.45 0.2769 0.7544
0.0007 112.0 1568 2.0131 0.2 0.45 0.2769 0.7537
0.0007 113.0 1582 2.0182 0.2 0.45 0.2769 0.7537
0.0007 114.0 1596 2.0345 0.1957 0.45 0.2727 0.7534
0.0006 115.0 1610 2.0338 0.2 0.45 0.2769 0.7532
0.0007 116.0 1624 2.0445 0.2 0.45 0.2769 0.7531
0.0007 117.0 1638 2.0688 0.2143 0.45 0.2903 0.7526
0.0008 118.0 1652 2.0920 0.225 0.45 0.3 0.7541
0.0009 119.0 1666 2.1148 0.225 0.45 0.3 0.7540
0.0008 120.0 1680 2.0795 0.18 0.45 0.2571 0.7534
0.001 121.0 1694 2.0217 0.2 0.45 0.2769 0.7548
0.0013 122.0 1708 1.9480 0.1698 0.45 0.2466 0.7615
0.0009 123.0 1722 1.8774 0.2 0.45 0.2769 0.7677
0.0009 124.0 1736 1.7994 0.1304 0.45 0.2022 0.7837
0.0007 125.0 1750 1.7864 0.18 0.45 0.2571 0.7967
0.0007 126.0 1764 1.7911 0.1837 0.45 0.2609 0.7971
0.0006 127.0 1778 1.8000 0.2 0.45 0.2769 0.7980
0.0007 128.0 1792 1.8162 0.2143 0.45 0.2903 0.7991
0.0007 129.0 1806 1.8334 0.2045 0.45 0.2813 0.7980
0.0007 130.0 1820 1.8374 0.2195 0.45 0.2951 0.7985
0.0007 131.0 1834 1.8494 0.2093 0.45 0.2857 0.7977
0.0006 132.0 1848 1.8593 0.2045 0.45 0.2813 0.7977
0.0007 133.0 1862 1.8704 0.2045 0.45 0.2813 0.7977
0.0007 134.0 1876 1.8739 0.1957 0.45 0.2727 0.7979
0.0006 135.0 1890 1.8806 0.1875 0.45 0.2647 0.7974
0.0007 136.0 1904 1.8789 0.1636 0.45 0.24 0.7961
0.0006 137.0 1918 1.8813 0.1579 0.45 0.2338 0.7962
0.0008 138.0 1932 1.8820 0.1667 0.45 0.2432 0.7944
0.0006 139.0 1946 1.8804 0.1579 0.45 0.2338 0.7937
0.0006 140.0 1960 1.8876 0.1552 0.45 0.2308 0.7919
0.0007 141.0 1974 1.8992 0.1343 0.45 0.2069 0.7867
0.0005 142.0 1988 1.9085 0.1579 0.45 0.2338 0.7922
0.0006 143.0 2002 1.9147 0.1607 0.45 0.2368 0.7922
0.0008 144.0 2016 1.9129 0.125 0.45 0.1957 0.7808
0.0007 145.0 2030 1.9075 0.1765 0.45 0.2535 0.7735
0.0007 146.0 2044 1.8986 0.15 0.45 0.2250 0.7885
0.0009 147.0 2058 1.8767 0.1579 0.45 0.2338 0.7911
0.0007 148.0 2072 1.8709 0.1385 0.45 0.2118 0.7875
0.0007 149.0 2086 1.8730 0.1364 0.45 0.2093 0.7885
0.0006 150.0 2100 1.8813 0.1406 0.45 0.2143 0.7879
0.0006 151.0 2114 1.8908 0.1607 0.45 0.2368 0.7899
0.0006 152.0 2128 1.9017 0.1636 0.45 0.24 0.7923
0.0007 153.0 2142 1.9101 0.1552 0.45 0.2308 0.7934
0.0007 154.0 2156 1.9167 0.1552 0.45 0.2308 0.7946
0.0006 155.0 2170 1.9177 0.1636 0.45 0.24 0.7917
0.0007 156.0 2184 1.9276 0.1552 0.45 0.2308 0.7893
0.0006 157.0 2198 1.9363 0.1429 0.45 0.2169 0.7878
0.0007 158.0 2212 1.9429 0.1324 0.45 0.2045 0.7866
0.0006 159.0 2226 1.9495 0.1525 0.45 0.2278 0.7891
0.0007 160.0 2240 1.9488 0.1364 0.45 0.2093 0.7866
0.0007 161.0 2254 1.9265 0.1667 0.45 0.2432 0.7914
0.0006 162.0 2268 1.9189 0.1698 0.45 0.2466 0.7928
0.0008 163.0 2282 1.9099 0.1579 0.45 0.2338 0.7941
0.0006 164.0 2296 1.9073 0.1607 0.45 0.2368 0.7941
0.0009 165.0 2310 1.8991 0.1698 0.45 0.2466 0.7929
0.0008 166.0 2324 1.8790 0.15 0.45 0.2250 0.7958
0.0006 167.0 2338 1.8819 0.1525 0.45 0.2278 0.7959
0.0007 168.0 2352 1.8877 0.1636 0.45 0.24 0.7955
0.0007 169.0 2366 1.8934 0.1731 0.45 0.25 0.7941
0.0007 170.0 2380 1.8959 0.18 0.45 0.2571 0.7935
0.0006 171.0 2394 1.9012 0.1765 0.45 0.2535 0.7934
0.0007 172.0 2408 1.9044 0.1837 0.45 0.2609 0.7928
0.0006 173.0 2422 1.9071 0.1765 0.45 0.2535 0.7931
0.0009 174.0 2436 1.9091 0.1837 0.45 0.2609 0.7923
0.0008 175.0 2450 1.9089 0.18 0.45 0.2571 0.7920
0.0006 176.0 2464 1.9076 0.1698 0.45 0.2466 0.7926
0.0007 177.0 2478 1.9079 0.1636 0.45 0.24 0.7920
0.0006 178.0 2492 1.9132 0.1765 0.45 0.2535 0.7922
0.0006 179.0 2506 1.9180 0.1698 0.45 0.2466 0.7917
0.0006 180.0 2520 1.9217 0.18 0.45 0.2571 0.7922
0.0006 181.0 2534 1.9161 0.1607 0.45 0.2368 0.7962
0.0006 182.0 2548 1.9178 0.1731 0.45 0.25 0.7997
0.0006 183.0 2562 1.9218 0.1765 0.45 0.2535 0.7998
0.0006 184.0 2576 1.9233 0.1765 0.45 0.2535 0.7998
0.0007 185.0 2590 1.9214 0.15 0.45 0.2250 0.7974
0.0007 186.0 2604 1.9203 0.1579 0.45 0.2338 0.7968
0.0007 187.0 2618 1.9115 0.15 0.45 0.2250 0.7988
0.0006 188.0 2632 1.9104 0.15 0.45 0.2250 0.7989
0.0006 189.0 2646 1.9120 0.15 0.45 0.2250 0.7989
0.0006 190.0 2660 1.9133 0.1552 0.45 0.2308 0.7992
0.0006 191.0 2674 1.9149 0.15 0.45 0.2250 0.7989
0.0007 192.0 2688 1.9145 0.15 0.45 0.2250 0.7989
0.0006 193.0 2702 1.9148 0.15 0.45 0.2250 0.7989
0.0006 194.0 2716 1.9147 0.1525 0.45 0.2278 0.7980
0.0006 195.0 2730 1.9144 0.1525 0.45 0.2278 0.7980
0.0006 196.0 2744 1.9157 0.15 0.45 0.2250 0.7979
0.0006 197.0 2758 1.9158 0.15 0.45 0.2250 0.7979
0.0006 198.0 2772 1.9167 0.1525 0.45 0.2278 0.7971
0.0007 199.0 2786 1.9166 0.1552 0.45 0.2308 0.7973
0.0006 200.0 2800 1.9170 0.1525 0.45 0.2278 0.7971

Framework versions

  • Transformers 4.30.0.dev0
  • Pytorch 2.0.0
  • Datasets 2.1.0
  • Tokenizers 0.13.3