vit-finetune-kidney-stone-Jonathan_El-Beze_-w256_1k_v1-_SEC

README.md

@@ -0,0 +1,90 @@
+---
+library_name: transformers
+tags:
+- generated_from_trainer
+datasets:
+- imagefolder
+metrics:
+- accuracy
+- precision
+- recall
+- f1
+model-index:
+- name: vit-finetune-kidney-stone-Jonathan_El-Beze_-w256_1k_v1-_SEC
+  results:
+  - task:
+      name: Image Classification
+      type: image-classification
+    dataset:
+      name: imagefolder
+      type: imagefolder
+      config: default
+      split: test
+      args: default
+    metrics:
+    - name: Accuracy
+      type: accuracy
+      value: 0.9533333333333334
+    - name: Precision
+      type: precision
+      value: 0.9601344218764242
+    - name: Recall
+      type: recall
+      value: 0.9533333333333334
+    - name: F1
+      type: f1
+      value: 0.953396953389295
+---
+
+<!-- This model card has been generated automatically according to the information the Trainer had access to. You
+should probably proofread and complete it, then remove this comment. -->
+
+# vit-finetune-kidney-stone-Jonathan_El-Beze_-w256_1k_v1-_SEC
+
+This model was trained from scratch on the imagefolder dataset.
+It achieves the following results on the evaluation set:
+- Loss: 0.1649
+- Accuracy: 0.9533
+- Precision: 0.9601
+- Recall: 0.9533
+- F1: 0.9534
+
+## Model description
+
+More information needed
+
+## Intended uses & limitations
+
+More information needed
+
+## Training and evaluation data
+
+More information needed
+
+## Training procedure
+
+### Training hyperparameters
+
+The following hyperparameters were used during training:
+- learning_rate: 0.0002
+- train_batch_size: 32
+- eval_batch_size: 8
+- seed: 42
+- optimizer: Use adamw_torch with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
+- lr_scheduler_type: linear
+- num_epochs: 1
+- mixed_precision_training: Native AMP
+
+### Training results
+
+| Training Loss | Epoch  | Step | Validation Loss | Accuracy | Precision | Recall | F1     |
+|:-------------:|:------:|:----:|:---------------:|:--------:|:---------:|:------:|:------:|
+| 0.0293        | 0.6667 | 100  | 0.1649          | 0.9533   | 0.9601    | 0.9533 | 0.9534 |
+
+
+### Framework versions
+
+- Transformers 4.48.2
+- Pytorch 2.6.0+cu126
+- Datasets 3.2.0
+- Tokenizers 0.21.0

all_results.json

@@ -0,0 +1,16 @@
+{
+    "epoch": 1.0,
+    "eval_accuracy": 0.9533333333333334,
+    "eval_f1": 0.953396953389295,
+    "eval_loss": 0.1649296134710312,
+    "eval_precision": 0.9601344218764242,
+    "eval_recall": 0.9533333333333334,
+    "eval_runtime": 9.802,
+    "eval_samples_per_second": 122.423,
+    "eval_steps_per_second": 15.303,
+    "total_flos": 3.71974885244928e+17,
+    "train_loss": 0.19624810536702475,
+    "train_runtime": 64.1985,
+    "train_samples_per_second": 74.768,
+    "train_steps_per_second": 2.337
+}

config.json

@@ -0,0 +1,40 @@
+{
+  "_name_or_path": "vit-finetune-kidney-stone-Michel_Daudon_-w256_1k_v1-_SEC",
+  "architectures": [
+    "ViTForImageClassification"
+  ],
+  "attention_probs_dropout_prob": 0.0,
+  "encoder_stride": 16,
+  "hidden_act": "gelu",
+  "hidden_dropout_prob": 0.0,
+  "hidden_size": 768,
+  "id2label": {
+    "0": "SEC-Subtype_IIIa",
+    "1": "SEC-Subtype_IIa",
+    "2": "SEC-Subtype_IVc",
+    "3": "SEC-Subtype_IVd",
+    "4": "SEC-Subtype_Ia",
+    "5": "SEC-Subtype_Va"
+  },
+  "image_size": 224,
+  "initializer_range": 0.02,
+  "intermediate_size": 3072,
+  "label2id": {
+    "SEC-Subtype_IIIa": "0",
+    "SEC-Subtype_IIa": "1",
+    "SEC-Subtype_IVc": "2",
+    "SEC-Subtype_IVd": "3",
+    "SEC-Subtype_Ia": "4",
+    "SEC-Subtype_Va": "5"
+  },
+  "layer_norm_eps": 1e-12,
+  "model_type": "vit",
+  "num_attention_heads": 12,
+  "num_channels": 3,
+  "num_hidden_layers": 12,
+  "patch_size": 16,
+  "problem_type": "single_label_classification",
+  "qkv_bias": true,
+  "torch_dtype": "float32",
+  "transformers_version": "4.48.2"
+}

model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:c1fadd1a2ae5e200a0334b4bba1546ec86f6bbe860f176b5724023fa3ceffc9f
+size 343236280

preprocessor_config.json

@@ -0,0 +1,23 @@
+{
+  "do_convert_rgb": null,
+  "do_normalize": true,
+  "do_rescale": true,
+  "do_resize": true,
+  "image_mean": [
+    0.5,
+    0.5,
+    0.5
+  ],
+  "image_processor_type": "ViTFeatureExtractor",
+  "image_std": [
+    0.5,
+    0.5,
+    0.5
+  ],
+  "resample": 2,
+  "rescale_factor": 0.00392156862745098,
+  "size": {
+    "height": 224,
+    "width": 224
+  }
+}

test_results.json

@@ -0,0 +1,11 @@
+{
+    "epoch": 1.0,
+    "eval_accuracy": 0.9533333333333334,
+    "eval_f1": 0.953396953389295,
+    "eval_loss": 0.1649296134710312,
+    "eval_precision": 0.9601344218764242,
+    "eval_recall": 0.9533333333333334,
+    "eval_runtime": 9.802,
+    "eval_samples_per_second": 122.423,
+    "eval_steps_per_second": 15.303
+}

train_results.json

@@ -0,0 +1,8 @@
+{
+    "epoch": 1.0,
+    "total_flos": 3.71974885244928e+17,
+    "train_loss": 0.19624810536702475,
+    "train_runtime": 64.1985,
+    "train_samples_per_second": 74.768,
+    "train_steps_per_second": 2.337
+}

trainer_state.json

@@ -0,0 +1,264 @@
+{
+  "best_metric": 0.1649296134710312,
+  "best_model_checkpoint": "vit-finetune-kidney-stone-Jonathan_El-Beze_-w256_1k_v1-_SEC\\checkpoint-100",
+  "epoch": 1.0,
+  "eval_steps": 100,
+  "global_step": 150,
+  "is_hyper_param_search": false,
+  "is_local_process_zero": true,
+  "is_world_process_zero": true,
+  "log_history": [
+    {
+      "epoch": 0.03333333333333333,
+      "grad_norm": 4.733065605163574,
+      "learning_rate": 0.00019333333333333333,
+      "loss": 2.0404,
+      "step": 5
+    },
+    {
+      "epoch": 0.06666666666666667,
+      "grad_norm": 3.565342903137207,
+      "learning_rate": 0.0001866666666666667,
+      "loss": 1.1743,
+      "step": 10
+    },
+    {
+      "epoch": 0.1,
+      "grad_norm": 2.8410754203796387,
+      "learning_rate": 0.00018,
+      "loss": 0.5906,
+      "step": 15
+    },
+    {
+      "epoch": 0.13333333333333333,
+      "grad_norm": 3.2434799671173096,
+      "learning_rate": 0.00017333333333333334,
+      "loss": 0.4769,
+      "step": 20
+    },
+    {
+      "epoch": 0.16666666666666666,
+      "grad_norm": 1.4241881370544434,
+      "learning_rate": 0.0001666666666666667,
+      "loss": 0.2392,
+      "step": 25
+    },
+    {
+      "epoch": 0.2,
+      "grad_norm": 1.8277868032455444,
+      "learning_rate": 0.00016,
+      "loss": 0.164,
+      "step": 30
+    },
+    {
+      "epoch": 0.23333333333333334,
+      "grad_norm": 0.20567373931407928,
+      "learning_rate": 0.00015333333333333334,
+      "loss": 0.1013,
+      "step": 35
+    },
+    {
+      "epoch": 0.26666666666666666,
+      "grad_norm": 0.2059996873140335,
+      "learning_rate": 0.00014666666666666666,
+      "loss": 0.099,
+      "step": 40
+    },
+    {
+      "epoch": 0.3,
+      "grad_norm": 0.22543317079544067,
+      "learning_rate": 0.00014,
+      "loss": 0.0624,
+      "step": 45
+    },
+    {
+      "epoch": 0.3333333333333333,
+      "grad_norm": 4.443180561065674,
+      "learning_rate": 0.00013333333333333334,
+      "loss": 0.0844,
+      "step": 50
+    },
+    {
+      "epoch": 0.36666666666666664,
+      "grad_norm": 1.1867191791534424,
+      "learning_rate": 0.00012666666666666666,
+      "loss": 0.1286,
+      "step": 55
+    },
+    {
+      "epoch": 0.4,
+      "grad_norm": 3.3529281616210938,
+      "learning_rate": 0.00012,
+      "loss": 0.067,
+      "step": 60
+    },
+    {
+      "epoch": 0.43333333333333335,
+      "grad_norm": 3.6864206790924072,
+      "learning_rate": 0.00011333333333333334,
+      "loss": 0.077,
+      "step": 65
+    },
+    {
+      "epoch": 0.4666666666666667,
+      "grad_norm": 0.780798614025116,
+      "learning_rate": 0.00010666666666666667,
+      "loss": 0.0606,
+      "step": 70
+    },
+    {
+      "epoch": 0.5,
+      "grad_norm": 2.0455167293548584,
+      "learning_rate": 0.0001,
+      "loss": 0.0558,
+      "step": 75
+    },
+    {
+      "epoch": 0.5333333333333333,
+      "grad_norm": 3.241957426071167,
+      "learning_rate": 9.333333333333334e-05,
+      "loss": 0.0373,
+      "step": 80
+    },
+    {
+      "epoch": 0.5666666666666667,
+      "grad_norm": 0.10529457777738571,
+      "learning_rate": 8.666666666666667e-05,
+      "loss": 0.0329,
+      "step": 85
+    },
+    {
+      "epoch": 0.6,
+      "grad_norm": 0.10940615832805634,
+      "learning_rate": 8e-05,
+      "loss": 0.0305,
+      "step": 90
+    },
+    {
+      "epoch": 0.6333333333333333,
+      "grad_norm": 0.11042007803916931,
+      "learning_rate": 7.333333333333333e-05,
+      "loss": 0.0319,
+      "step": 95
+    },
+    {
+      "epoch": 0.6666666666666666,
+      "grad_norm": 0.10197849571704865,
+      "learning_rate": 6.666666666666667e-05,
+      "loss": 0.0293,
+      "step": 100
+    },
+    {
+      "epoch": 0.6666666666666666,
+      "eval_accuracy": 0.9533333333333334,
+      "eval_f1": 0.953396953389295,
+      "eval_loss": 0.1649296134710312,
+      "eval_precision": 0.9601344218764242,
+      "eval_recall": 0.9533333333333334,
+      "eval_runtime": 10.6006,
+      "eval_samples_per_second": 113.201,
+      "eval_steps_per_second": 14.15,
+      "step": 100
+    },
+    {
+      "epoch": 0.7,
+      "grad_norm": 0.0925605520606041,
+      "learning_rate": 6e-05,
+      "loss": 0.0274,
+      "step": 105
+    },
+    {
+      "epoch": 0.7333333333333333,
+      "grad_norm": 6.116914749145508,
+      "learning_rate": 5.333333333333333e-05,
+      "loss": 0.0291,
+      "step": 110
+    },
+    {
+      "epoch": 0.7666666666666667,
+      "grad_norm": 0.08884350955486298,
+      "learning_rate": 4.666666666666667e-05,
+      "loss": 0.0266,
+      "step": 115
+    },
+    {
+      "epoch": 0.8,
+      "grad_norm": 0.6212164163589478,
+      "learning_rate": 4e-05,
+      "loss": 0.0515,
+      "step": 120
+    },
+    {
+      "epoch": 0.8333333333333334,
+      "grad_norm": 0.07527727633714676,
+      "learning_rate": 3.3333333333333335e-05,
+      "loss": 0.0349,
+      "step": 125
+    },
+    {
+      "epoch": 0.8666666666666667,
+      "grad_norm": 0.08864862471818924,
+      "learning_rate": 2.6666666666666667e-05,
+      "loss": 0.0237,
+      "step": 130
+    },
+    {
+      "epoch": 0.9,
+      "grad_norm": 0.07268212735652924,
+      "learning_rate": 2e-05,
+      "loss": 0.024,
+      "step": 135
+    },
+    {
+      "epoch": 0.9333333333333333,
+      "grad_norm": 0.09480606764554977,
+      "learning_rate": 1.3333333333333333e-05,
+      "loss": 0.0243,
+      "step": 140
+    },
+    {
+      "epoch": 0.9666666666666667,
+      "grad_norm": 0.0949704721570015,
+      "learning_rate": 6.666666666666667e-06,
+      "loss": 0.0278,
+      "step": 145
+    },
+    {
+      "epoch": 1.0,
+      "grad_norm": 5.041667938232422,
+      "learning_rate": 0.0,
+      "loss": 0.0347,
+      "step": 150
+    },
+    {
+      "epoch": 1.0,
+      "step": 150,
+      "total_flos": 3.71974885244928e+17,
+      "train_loss": 0.19624810536702475,
+      "train_runtime": 64.1985,
+      "train_samples_per_second": 74.768,
+      "train_steps_per_second": 2.337
+    }
+  ],
+  "logging_steps": 5,
+  "max_steps": 150,
+  "num_input_tokens_seen": 0,
+  "num_train_epochs": 1,
+  "save_steps": 100,
+  "stateful_callbacks": {
+    "TrainerControl": {
+      "args": {
+        "should_epoch_stop": false,
+        "should_evaluate": false,
+        "should_log": false,
+        "should_save": true,
+        "should_training_stop": true
+      },
+      "attributes": {}
+    }
+  },
+  "total_flos": 3.71974885244928e+17,
+  "train_batch_size": 32,
+  "trial_name": null,
+  "trial_params": null
+}

training_args.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:4d3cb55d083a56d3f1e9e40f598661e65a2f027aa984446bb223f83ea5053500
+size 5432