Hugging Face's logo

lombardata
/
DinoVdeau-small-2024_08_31-batch-size32_epochs150_freeze

TensorBoard
Safetensors
English
dinov2
multilabel-image-classification
multilabel
Generated from Trainer
Model card Files Metrics Community
DinoVdeau-small-2024_08_31-batch-size32_epochs150_freeze / README.md
lombardata's picture
lombardata
Evaluation on the test set completed on 2024_09_03.
1e99df2 verified
preview code
|
raw
history blame
16.6 kB
metadata
license: apache-2.0
base_model: facebook/dinov2-small
tags:
  - generated_from_trainer
metrics:
  - accuracy
model-index:
  - name: DinoVdeau-small-2024_08_31-batch-size32_epochs150_freeze
    results: []

DinoVdeau-small-2024_08_31-batch-size32_epochs150_freeze

This model is a fine-tuned version of facebook/dinov2-small on the None dataset. It achieves the following results on the evaluation set:

  • Loss: 0.1320
  • F1 Micro: 0.8009
  • F1 Macro: 0.6614
  • Roc Auc: 0.8649
  • Accuracy: 0.2903
  • Learning Rate: 0.0000

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 0.001
  • train_batch_size: 32
  • eval_batch_size: 32
  • seed: 42
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: linear
  • num_epochs: 150
  • mixed_precision_training: Native AMP

Training results

Training Loss Epoch Step Validation Loss F1 Micro F1 Macro Roc Auc Accuracy Rate
No log 1.0 273 0.1957 0.7089 0.4059 0.8061 0.1906 0.001
0.3189 2.0 546 0.1720 0.7381 0.4868 0.8255 0.2193 0.001
0.3189 3.0 819 0.1621 0.7579 0.5587 0.8388 0.2322 0.001
0.1897 4.0 1092 0.1595 0.7463 0.5562 0.8221 0.2249 0.001
0.1897 5.0 1365 0.1569 0.7511 0.5723 0.8245 0.2315 0.001
0.1808 6.0 1638 0.1530 0.7635 0.5787 0.8365 0.2363 0.001
0.1808 7.0 1911 0.1523 0.7652 0.5982 0.8389 0.2335 0.001
0.1763 8.0 2184 0.1531 0.7655 0.5880 0.8377 0.2419 0.001
0.1763 9.0 2457 0.1499 0.7700 0.6069 0.8431 0.2401 0.001
0.1735 10.0 2730 0.1510 0.7606 0.5829 0.8277 0.2439 0.001
0.1723 11.0 3003 0.1521 0.7690 0.5976 0.8400 0.2505 0.001
0.1723 12.0 3276 0.1503 0.7760 0.6074 0.8527 0.2443 0.001
0.1719 13.0 3549 0.1504 0.7624 0.6003 0.8302 0.2439 0.001
0.1719 14.0 3822 0.1497 0.7644 0.6028 0.8343 0.2446 0.001
0.1702 15.0 4095 0.1475 0.7752 0.6066 0.8446 0.2512 0.001
0.1702 16.0 4368 0.1500 0.7646 0.5838 0.8321 0.2464 0.001
0.1696 17.0 4641 0.1530 0.7720 0.6073 0.8464 0.2457 0.001
0.1696 18.0 4914 0.1491 0.7752 0.6143 0.8475 0.2439 0.001
0.1717 19.0 5187 0.1495 0.7740 0.6075 0.8484 0.2346 0.001
0.1717 20.0 5460 0.1487 0.7637 0.5956 0.8322 0.2453 0.001
0.1705 21.0 5733 0.1471 0.7805 0.6165 0.8540 0.2474 0.001
0.1706 22.0 6006 0.1509 0.7754 0.6074 0.8494 0.2453 0.001
0.1706 23.0 6279 0.1502 0.7719 0.6127 0.8388 0.2429 0.001
0.1699 24.0 6552 0.1497 0.7699 0.5849 0.8406 0.2401 0.001
0.1699 25.0 6825 0.1470 0.7761 0.6035 0.8459 0.2426 0.001
0.1694 26.0 7098 0.1481 0.7751 0.6065 0.8466 0.2422 0.001
0.1694 27.0 7371 0.1458 0.7689 0.6136 0.8357 0.2474 0.001
0.17 28.0 7644 0.1454 0.7751 0.6077 0.8441 0.2446 0.001
0.17 29.0 7917 0.1494 0.7735 0.6108 0.8491 0.2457 0.001
0.1685 30.0 8190 0.1455 0.7705 0.5983 0.8366 0.2498 0.001
0.1685 31.0 8463 0.1454 0.7785 0.6069 0.8495 0.2533 0.001
0.1687 32.0 8736 0.1466 0.7746 0.6145 0.8461 0.2453 0.001
0.1679 33.0 9009 0.1446 0.7770 0.6125 0.8439 0.2540 0.001
0.1679 34.0 9282 0.1468 0.7781 0.6168 0.8470 0.2446 0.001
0.168 35.0 9555 0.1486 0.7767 0.6193 0.8452 0.2495 0.001
0.168 36.0 9828 0.1464 0.7719 0.6093 0.8391 0.2488 0.001
0.169 37.0 10101 0.1448 0.7734 0.6127 0.8402 0.2498 0.001
0.169 38.0 10374 0.1451 0.7815 0.6110 0.8526 0.2523 0.001
0.167 39.0 10647 0.1447 0.7824 0.6272 0.8563 0.2498 0.001
0.167 40.0 10920 0.1482 0.7837 0.6266 0.8537 0.2536 0.0001
0.1652 41.0 11193 0.1414 0.7833 0.6324 0.8483 0.2616 0.0001
0.1652 42.0 11466 0.1398 0.7884 0.6372 0.8546 0.2620 0.0001
0.1608 43.0 11739 0.1411 0.7871 0.6367 0.8537 0.2640 0.0001
0.1596 44.0 12012 0.1390 0.7879 0.6257 0.8537 0.2613 0.0001
0.1596 45.0 12285 0.1386 0.7894 0.6421 0.8539 0.2665 0.0001
0.1582 46.0 12558 0.1396 0.7874 0.6283 0.8522 0.2665 0.0001
0.1582 47.0 12831 0.1387 0.7864 0.6287 0.8500 0.2637 0.0001
0.1584 48.0 13104 0.1378 0.7913 0.6335 0.8572 0.2678 0.0001
0.1584 49.0 13377 0.1377 0.7934 0.6382 0.8603 0.2640 0.0001
0.157 50.0 13650 0.1376 0.7918 0.6363 0.8570 0.2675 0.0001
0.157 51.0 13923 0.1375 0.7929 0.6427 0.8597 0.2661 0.0001
0.1567 52.0 14196 0.1377 0.7871 0.6368 0.8507 0.2658 0.0001
0.1567 53.0 14469 0.1374 0.7929 0.6406 0.8601 0.2692 0.0001
0.1571 54.0 14742 0.1369 0.7921 0.6412 0.8562 0.2717 0.0001
0.1548 55.0 15015 0.1370 0.7914 0.6378 0.8558 0.2703 0.0001
0.1548 56.0 15288 0.1365 0.7931 0.6425 0.8602 0.2644 0.0001
0.155 57.0 15561 0.1368 0.7926 0.6382 0.8588 0.2675 0.0001
0.155 58.0 15834 0.1365 0.7916 0.6374 0.8553 0.2675 0.0001
0.155 59.0 16107 0.1364 0.7922 0.6429 0.8565 0.2675 0.0001
0.155 60.0 16380 0.1369 0.7883 0.6358 0.8515 0.2651 0.0001
0.1546 61.0 16653 0.1364 0.7946 0.6504 0.8589 0.2713 0.0001
0.1546 62.0 16926 0.1356 0.7932 0.6442 0.8575 0.2751 0.0001
0.1536 63.0 17199 0.1355 0.7966 0.6516 0.8611 0.2737 0.0001
0.1536 64.0 17472 0.1359 0.7934 0.6450 0.8578 0.2678 0.0001
0.1544 65.0 17745 0.1357 0.7936 0.6455 0.8572 0.2706 0.0001
0.1529 66.0 18018 0.1357 0.7946 0.6477 0.8595 0.2713 0.0001
0.1529 67.0 18291 0.1353 0.7966 0.6544 0.8623 0.2755 0.0001
0.1528 68.0 18564 0.1353 0.7956 0.6519 0.8608 0.2734 0.0001
0.1528 69.0 18837 0.1347 0.7966 0.6516 0.8603 0.2699 0.0001
0.1528 70.0 19110 0.1350 0.7945 0.6442 0.8575 0.2720 0.0001
0.1528 71.0 19383 0.1350 0.7933 0.6442 0.8557 0.2723 0.0001
0.1522 72.0 19656 0.1345 0.7970 0.6485 0.8605 0.2758 0.0001
0.1522 73.0 19929 0.1342 0.7977 0.6519 0.8616 0.2762 0.0001
0.1523 74.0 20202 0.1350 0.7915 0.6413 0.8520 0.2751 0.0001
0.1523 75.0 20475 0.1346 0.7947 0.6485 0.8572 0.2751 0.0001
0.1521 76.0 20748 0.1344 0.7965 0.6478 0.8598 0.2758 0.0001
0.1515 77.0 21021 0.1346 0.7978 0.6537 0.8623 0.2775 0.0001
0.1515 78.0 21294 0.1341 0.7978 0.6543 0.8635 0.2775 0.0001
0.1514 79.0 21567 0.1340 0.7953 0.6523 0.8574 0.2741 0.0001
0.1514 80.0 21840 0.1344 0.7993 0.6546 0.8653 0.2782 0.0001
0.1516 81.0 22113 0.1341 0.7967 0.6560 0.8576 0.2758 0.0001
0.1516 82.0 22386 0.1341 0.7948 0.6454 0.8555 0.2765 0.0001
0.149 83.0 22659 0.1351 0.7924 0.6460 0.8543 0.2703 0.0001
0.149 84.0 22932 0.1339 0.7957 0.6512 0.8586 0.2755 0.0001
0.1515 85.0 23205 0.1334 0.7991 0.6532 0.8620 0.2793 0.0001
0.1515 86.0 23478 0.1334 0.7988 0.6596 0.8625 0.2748 0.0001
0.1495 87.0 23751 0.1340 0.7956 0.6467 0.8591 0.2744 0.0001
0.1496 88.0 24024 0.1336 0.7982 0.6483 0.8620 0.2748 0.0001
0.1496 89.0 24297 0.1337 0.8015 0.6585 0.8672 0.2807 0.0001
0.1493 90.0 24570 0.1333 0.8011 0.6621 0.8661 0.2772 0.0001
0.1493 91.0 24843 0.1337 0.7957 0.6529 0.8563 0.2782 0.0001
0.1496 92.0 25116 0.1335 0.7961 0.6514 0.8574 0.2755 0.0001
0.1496 93.0 25389 0.1331 0.8002 0.6560 0.8648 0.2758 0.0001
0.1493 94.0 25662 0.1333 0.7995 0.6554 0.8643 0.2758 0.0001
0.1493 95.0 25935 0.1331 0.7980 0.6580 0.8606 0.2758 0.0001
0.1482 96.0 26208 0.1328 0.7993 0.6556 0.8631 0.2751 0.0001
0.1482 97.0 26481 0.1333 0.7977 0.6493 0.8589 0.2782 0.0001
0.1497 98.0 26754 0.1327 0.7996 0.6600 0.8647 0.2755 0.0001
0.1489 99.0 27027 0.1325 0.7979 0.6590 0.8608 0.2717 0.0001
0.1489 100.0 27300 0.1329 0.7971 0.6570 0.8585 0.2762 0.0001
0.1482 101.0 27573 0.1327 0.7992 0.6580 0.8611 0.2821 0.0001
0.1482 102.0 27846 0.1326 0.7987 0.6543 0.8608 0.2817 0.0001
0.1474 103.0 28119 0.1325 0.7994 0.6518 0.8621 0.2803 0.0001
0.1474 104.0 28392 0.1332 0.8011 0.6613 0.8647 0.2775 0.0001
0.1472 105.0 28665 0.1322 0.8013 0.6636 0.8652 0.2831 0.0001
0.1472 106.0 28938 0.1324 0.8010 0.6588 0.8633 0.2831 0.0001
0.148 107.0 29211 0.1336 0.7986 0.6506 0.8619 0.2786 0.0001
0.148 108.0 29484 0.1327 0.7996 0.6501 0.8615 0.2796 0.0001
0.1477 109.0 29757 0.1318 0.8000 0.6580 0.8613 0.2807 0.0001
0.1479 110.0 30030 0.1326 0.7997 0.6582 0.8626 0.2803 0.0001
0.1479 111.0 30303 0.1319 0.8013 0.6609 0.8638 0.2786 0.0001
0.1466 112.0 30576 0.1322 0.8019 0.6595 0.8659 0.2810 0.0001
0.1466 113.0 30849 0.1321 0.8025 0.6592 0.8667 0.2800 0.0001
0.1474 114.0 31122 0.1320 0.8025 0.6631 0.8662 0.2824 0.0001
0.1474 115.0 31395 0.1319 0.8004 0.6598 0.8625 0.2838 0.0001
0.1468 116.0 31668 0.1319 0.8022 0.6627 0.8643 0.2845 1e-05
0.1468 117.0 31941 0.1318 0.8013 0.6604 0.8634 0.2821 1e-05
0.1455 118.0 32214 0.1316 0.8002 0.6590 0.8616 0.2796 1e-05
0.1455 119.0 32487 0.1319 0.8037 0.6608 0.8678 0.2827 1e-05
0.1451 120.0 32760 0.1316 0.8036 0.6615 0.8662 0.2814 1e-05
0.1454 121.0 33033 0.1318 0.8013 0.6611 0.8635 0.2810 1e-05
0.1454 122.0 33306 0.1322 0.8050 0.6647 0.8692 0.2817 1e-05
0.145 123.0 33579 0.1319 0.8010 0.6605 0.8618 0.2817 1e-05
0.145 124.0 33852 0.1314 0.8019 0.6622 0.8638 0.2807 1e-05
0.1459 125.0 34125 0.1314 0.8043 0.6641 0.8672 0.2862 1e-05
0.1459 126.0 34398 0.1310 0.8042 0.6630 0.8670 0.2862 1e-05
0.1439 127.0 34671 0.1315 0.8038 0.6598 0.8673 0.2859 1e-05
0.1439 128.0 34944 0.1311 0.8042 0.6682 0.8674 0.2869 1e-05
0.1446 129.0 35217 0.1310 0.8035 0.6653 0.8665 0.2827 1e-05
0.1446 130.0 35490 0.1310 0.8034 0.6657 0.8668 0.2866 1e-05
0.1449 131.0 35763 0.1313 0.8052 0.6709 0.8699 0.2834 1e-05
0.1442 132.0 36036 0.1315 0.7986 0.6558 0.8595 0.2807 1e-05
0.1442 133.0 36309 0.1311 0.8052 0.6689 0.8692 0.2879 1e-05
0.1443 134.0 36582 0.1309 0.8021 0.6648 0.8640 0.2827 1e-05
0.1443 135.0 36855 0.1315 0.8038 0.6684 0.8665 0.2869 1e-05
0.1438 136.0 37128 0.1315 0.8025 0.6590 0.8634 0.2827 1e-05
0.1438 137.0 37401 0.1311 0.8036 0.6667 0.8648 0.2859 1e-05
0.1452 138.0 37674 0.1312 0.8035 0.6666 0.8661 0.2845 1e-05
0.1452 139.0 37947 0.1310 0.8053 0.6661 0.8689 0.2897 1e-05
0.144 140.0 38220 0.1317 0.8020 0.6635 0.8643 0.2834 1e-05
0.144 141.0 38493 0.1309 0.8047 0.6688 0.8673 0.2876 0.0000
0.1445 142.0 38766 0.1310 0.8042 0.6643 0.8657 0.2859 0.0000
0.1441 143.0 39039 0.1314 0.8019 0.6623 0.8635 0.2872 0.0000
0.1441 144.0 39312 0.1312 0.8025 0.6648 0.8649 0.2838 0.0000

Framework versions

  • Transformers 4.41.1
  • Pytorch 2.3.0+cu121
  • Datasets 2.19.1
  • Tokenizers 0.19.1