Upload folder using huggingface_hub

README.md

@@ -0,0 +1,79 @@
+---
+base_model: SynamicTechnologies/CYBERT
+tags:
+- generated_from_trainer
+metrics:
+- precision
+- recall
+- f1
+- accuracy
+model-index:
+- name: pritamdeka/CyBERT-CyNER
+  results: []
+---
+
+<!-- This model card has been generated automatically according to the information the Trainer had access to. You
+should probably proofread and complete it, then remove this comment. -->
+
+# pritamdeka/CyBERT-CyNER
+
+This model is a fine-tuned version of [SynamicTechnologies/CYBERT](https://huggingface.co/SynamicTechnologies/CYBERT) on the [CyNER](https://github.com/aiforsec/CyNER) dataset.
+It achieves the following results on the evaluation set:
+- Loss: 0.2405
+- Precision: 0.4671
+- Recall: 0.2810
+- F1: 0.3509
+- Accuracy: 0.9568
+
+It achieves the following results on the prediction set:
+- Loss: 0.2747
+- Precision: 0.5442
+- Recall: 0.3483
+- F1: 0.4248
+- Accuracy: 0.9471
+
+
+## Model description
+
+More information needed
+
+## Intended uses & limitations
+
+More information needed
+
+## Training and evaluation data
+
+More information needed
+
+## Training procedure
+
+### Training hyperparameters
+
+The following hyperparameters were used during training:
+- learning_rate: 2e-05
+- train_batch_size: 8
+- eval_batch_size: 8
+- seed: 42
+- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
+- lr_scheduler_type: linear
+- num_epochs: 10.0
+
+### Training results
+
+| Training Loss | Epoch | Step | Validation Loss | Precision | Recall | F1     | Accuracy |
+|:-------------:|:-----:|:----:|:---------------:|:---------:|:------:|:------:|:--------:|
+| 0.2304        | 1.42  | 500  | 0.2405          | 0.4671    | 0.2810 | 0.3509 | 0.9568   |
+| 0.1092        | 2.84  | 1000 | 0.2575          | 0.5426    | 0.2848 | 0.3735 | 0.9601   |
+| 0.0797        | 4.26  | 1500 | 0.2454          | 0.4701    | 0.3308 | 0.3883 | 0.9576   |
+| 0.0615        | 5.68  | 2000 | 0.2669          | 0.4902    | 0.3180 | 0.3857 | 0.9586   |
+| 0.0504        | 7.1   | 2500 | 0.2687          | 0.4885    | 0.3525 | 0.4095 | 0.9580   |
+| 0.0379        | 8.52  | 3000 | 0.2752          | 0.4656    | 0.3627 | 0.4078 | 0.9573   |
+| 0.0339        | 9.94  | 3500 | 0.2828          | 0.4991    | 0.3499 | 0.4114 | 0.9586   |
+
+
+### Framework versions
+
+- Transformers 4.36.0.dev0
+- Pytorch 2.1.0+cu118
+- Datasets 2.14.6
+- Tokenizers 0.14.1

all_results.json

@@ -0,0 +1,25 @@
+{
+    "epoch": 10.0,
+    "eval_accuracy": 0.9567872722607134,
+    "eval_f1": 0.35087719298245623,
+    "eval_loss": 0.2404903918504715,
+    "eval_precision": 0.46709129511677283,
+    "eval_recall": 0.280970625798212,
+    "eval_runtime": 2.1723,
+    "eval_samples": 812,
+    "eval_samples_per_second": 373.803,
+    "eval_steps_per_second": 46.956,
+    "predict_accuracy": 0.9470731833999896,
+    "predict_f1": 0.4247557003257329,
+    "predict_loss": 0.27472779154777527,
+    "predict_precision": 0.5442404006677797,
+    "predict_recall": 0.3482905982905983,
+    "predict_runtime": 2.0236,
+    "predict_samples_per_second": 369.151,
+    "predict_steps_per_second": 46.453,
+    "train_loss": 0.08588492049073632,
+    "train_runtime": 361.1884,
+    "train_samples": 2810,
+    "train_samples_per_second": 77.799,
+    "train_steps_per_second": 9.746
+}

config.json

@@ -0,0 +1,54 @@
+{
+  "_name_or_path": "SynamicTechnologies/CYBERT",
+  "architectures": [
+    "RobertaForTokenClassification"
+  ],
+  "attention_probs_dropout_prob": 0.1,
+  "bos_token_id": 0,
+  "classifier_dropout": null,
+  "eos_token_id": 2,
+  "finetuning_task": "ner",
+  "hidden_act": "gelu",
+  "hidden_dropout_prob": 0.1,
+  "hidden_size": 768,
+  "id2label": {
+    "0": "B-Indicator",
+    "1": "B-Malware",
+    "2": "B-Organization",
+    "3": "B-System",
+    "4": "B-Vulnerability",
+    "5": "I-Indicator",
+    "6": "I-Malware",
+    "7": "I-Organization",
+    "8": "I-System",
+    "9": "I-Vulnerability",
+    "10": "O"
+  },
+  "initializer_range": 0.02,
+  "intermediate_size": 3072,
+  "label2id": {
+    "B-Indicator": 0,
+    "B-Malware": 1,
+    "B-Organization": 2,
+    "B-System": 3,
+    "B-Vulnerability": 4,
+    "I-Indicator": 5,
+    "I-Malware": 6,
+    "I-Organization": 7,
+    "I-System": 8,
+    "I-Vulnerability": 9,
+    "O": 10
+  },
+  "layer_norm_eps": 1e-12,
+  "max_position_embeddings": 514,
+  "model_type": "roberta",
+  "num_attention_heads": 12,
+  "num_hidden_layers": 6,
+  "pad_token_id": 1,
+  "position_embedding_type": "absolute",
+  "torch_dtype": "float32",
+  "transformers_version": "4.36.0.dev0",
+  "type_vocab_size": 1,
+  "use_cache": true,
+  "vocab_size": 52000
+}

eval_results.json

@@ -0,0 +1,12 @@
+{
+    "epoch": 10.0,
+    "eval_accuracy": 0.9567872722607134,
+    "eval_f1": 0.35087719298245623,
+    "eval_loss": 0.2404903918504715,
+    "eval_precision": 0.46709129511677283,
+    "eval_recall": 0.280970625798212,
+    "eval_runtime": 2.1723,
+    "eval_samples": 812,
+    "eval_samples_per_second": 373.803,
+    "eval_steps_per_second": 46.956
+}

model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:7cfe8ca347ee58fe7ad76e387c272eabf9c5807bc496238acbb32da0a20f3f0e
+size 331487300

predict_results.json

@@ -0,0 +1,10 @@
+{
+    "predict_accuracy": 0.9470731833999896,
+    "predict_f1": 0.4247557003257329,
+    "predict_loss": 0.27472779154777527,
+    "predict_precision": 0.5442404006677797,
+    "predict_recall": 0.3482905982905983,
+    "predict_runtime": 2.0236,
+    "predict_samples_per_second": 369.151,
+    "predict_steps_per_second": 46.453
+}

predictions.txt

@@ -0,0 +1,747 @@
+O O O O O O O O
+O O
+O O O O O O O O O O O O O O O O O O B-System O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O B-Malware O O B-Malware O O O
+O O O O O O O O O O O O O O O
+O O O O O O O O O O B-Malware O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O B-Malware O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O
+B-Malware O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O B-Malware O O O O O O O O B-System O O O O O O O O O O O O
+O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O B-Malware O O O B-Malware O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O B-System O O
+O O O O O O O O O B-Organization O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O
+O B-Malware O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O B-Malware O O O O O O
+O O O O O B-Organization O O O O O O O O O O O O O O O O O O O O O O
+O B-Organization O B-System O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O
+O O B-Malware O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O B-Malware O
+O O O O O O O O O O O O O O O O O B-Malware O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O
+O O O O O B-Malware O O O O O O O O O B-Organization O O O O O
+O O B-Malware O O O O O O O O O O O O B-Malware O O O O O O
+O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O
+O O B-Malware O O O O O O O O O O O O O O O O O O B-System O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-System O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O B-System O O
+O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O B-System O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O
+O O B-System O O O O O O O O O O O O O B-System O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O
+O O O B-System O O O O O B-System O O B-System O O O O O O O O O O O O O O O O O O B-System O O O O B-System O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O
+O O B-System O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-System O O O O O O
+O O O O O O O O O O O O
+O O O O O O O O O O O
+O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O B-System O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O B-System O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-Malware O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O
+O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O B-Malware O B-Organization O O O O O O B-Malware O O O O O O O O O O O O O O O O O O O O O B-Indicator O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-Indicator O O O O
+O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O B-System O O O B-Malware O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O
+O O O O O O O B-System O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O
+O O O O B-System O O O O O O O O O O O O O O O B-Indicator O I-Indicator O O O O B-Indicator B-System O B-Indicator B-System B-Indicator B-System B-Indicator O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O B-System O
+O O O O O O O O O I-Indicator B-Indicator I-Indicator I-Indicator I-Indicator O
+I-Indicator O O O O O O O O O O O O O O B-System O O
+O O O O O O O O O O O O O O O B-Malware O O O O O O O O O O B-System O O O O O O O O O O
+O O O O B-System O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+B-System O O O O O O O O O O O O O B-System O O
+O O O B-Indicator B-Indicator O O O O O O B-Indicator B-Indicator O O O B-Indicator O O O O O O B-Indicator B-Indicator B-Indicator
+B-Indicator O O O B-Indicator B-Indicator O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O B-System O O O O O O
+O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O B-Malware O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-Malware O O O
+O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O B-Malware O O B-Indicator O O O B-Indicator O B-Indicator O B-Indicator O B-Indicator O O O O O O O O O O O O O O O B-Indicator O B-Indicator O B-Indicator O O O O O O O O O O O O O O O O B-Indicator O O O B-Indicator O O O B-Indicator
+O I-Indicator O O O O O O O O O O O O O B-Indicator O B-Indicator O B-Indicator O B-Indicator O O O O O O O O O O O O O B-Indicator O O O B-Indicator O O O O O O O O O O O O O O
+O O O O O
+O O O O O O O O O B-System O O O
+O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O B-Indicator O I-Indicator O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O B-System O O O O O O
+B-Indicator I-Indicator I-Indicator O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-System O O
+O O O B-Indicator B-Indicator I-Indicator I-Indicator B-Indicator I-Indicator I-Indicator O O O O B-Indicator I-Indicator I-Indicator O O B-Indicator I-Indicator I-Indicator O O O O B-Indicator I-Indicator I-Indicator
+O O O O B-Indicator I-Indicator I-Indicator O B-Indicator B-Indicator I-Indicator I-Indicator O O B-Indicator I-Indicator I-Indicator B-Indicator I-Indicator I-Indicator O B-Indicator I-Indicator I-Indicator
+O O O O B-Indicator I-Indicator I-Indicator O B-Indicator O I-Indicator O O O O B-Indicator O I-Indicator O B-Indicator I-Indicator I-Indicator B-Indicator I-Indicator I-Indicator
+O O B-Indicator O I-Indicator O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O I-Indicator O
+I-Indicator I-Indicator O B-Indicator I-Indicator I-Indicator
+I-Indicator I-Indicator O B-Indicator I-Indicator I-Indicator
+I-Indicator I-Indicator O O O O O O O O O O O O O O O O O O O O O O O O B-System O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O
+O O O O O O B-System O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+B-Malware O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O B-System O O O O O O O O O O O O O B-System O O
+O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O B-System O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O B-System I-System O O O O O O O O O O O O I-System O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O B-Organization B-System O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O
+O O O O O I-System O O O O O O O O O O O I-Indicator O
+I-Indicator I-Indicator O
+O O O O O O B-System O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O B-System O O O O O O B-System O O O I-System I-System O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-System I-System O O O O O O O O O
+O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O I-Indicator O
+I-Indicator I-Indicator O O O O O O O O B-Malware O O O O O O O O O O O
+O O O O O O
+I-Indicator I-Indicator O O O O O B-Malware O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O I-Indicator O
+I-Indicator I-Indicator O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-System O O O O
+O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O B-Malware O O O O O O O O O O O O O O O O O O O O B-System O O O O O O O O O O O O O O
+O O O O O O O B-Malware O O O O O B-Indicator O O O B-Indicator B-Malware O O B-Indicator O O O O O O O B-Indicator I-Indicator O
+I-Indicator O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O
+B-Malware O B-Malware O O O O O O O O O O O O O O O O O O I-Indicator O
+I-Indicator I-Indicator O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-System O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O B-Malware O O O O O O O O O O B-Malware O O O O O I-Indicator O
+I-Indicator I-Indicator O O O O O O O
+O O O O O O O O O O B-Malware O O O O B-System I-System O O O O O O O O O O O O O O O I-Indicator O
+I-Indicator I-Indicator O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O B-System I-System O O O O O O O O O O O O B-Malware O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O B-System I-System O O O O O O O O O
+O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O B-System O O O O O O O O O O O O B-Indicator O O
+O O O O O O O O O B-System O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O
+O O O O O O O O O O O O O O B-System O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-Malware O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O I-Indicator O
+I-Indicator I-Indicator O O O O O O O O O O O O O O O O O
+O O O O O O O B-Indicator O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O B-System O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O B-System O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O B-System O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O B-Indicator O O O O
+O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O B-System O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O B-System O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O B-Indicator O O O O O O O O O
+B-Indicator O O O O O O O O O O
+B-Indicator O O O O O O O O O O O O
+B-Indicator O O O O O O O O O O O O O O O O O O O B-Indicator O O O O O O O O O O O O O O O O O O O O O
+B-Indicator O O O O O O O O O O O
+O B-Indicator O O O O O O O O
+B-Indicator O O O O O O O O O O O O O O O O
+O B-System O O O O O O O O O O O O O O O O O O O O O O O O O B-System O
+O O O O O O O O O O O O O O O B-System O O O O O O O O O O O O B-System O O
+O O O O O O O O O O O O O O O O B-Indicator O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O B-System O O O O O O B-System I-System O O O O O O O
+B-Malware O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O B-System O O O O O O O O O O O B-System O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O
+O O B-System O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O B-Indicator O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-Indicator O O O O O O O B-Indicator O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O B-Indicator O O
+O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O
+O O O O O O O O O B-Indicator O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O B-Indicator B-Indicator B-Indicator B-Indicator O B-Indicator B-Indicator B-Indicator B-Indicator B-Indicator B-Indicator B-Indicator B-Indicator I-Indicator B-Indicator O O O B-Indicator O B-Indicator B-Indicator B-Indicator O O O O O B-Indicator B-Indicator B-Indicator B-Indicator O B-Indicator O B-Indicator B-Indicator O B-Indicator B-Indicator O B-Indicator B-Indicator
+O O O O O O O O O O O O O O O O B-System I-System O O O B-Indicator O O O O O O O O O O
+O O O O O O O O O B-Indicator O O O O O O
+O O O O O O O O O O O O O O O O O O O O B-System O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O B-System O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O I-Indicator O
+I-Indicator I-Indicator B-Indicator I-Indicator I-Indicator
+I-Indicator I-Indicator B-Indicator I-Indicator I-Indicator
+I-Indicator I-Indicator O O O O O O O O O O O O O O O O O O O O O O O O O O O O I-Indicator O I-Indicator O
+I-Indicator I-Indicator B-Indicator I-Indicator I-Indicator
+I-Indicator I-Indicator O O O O O B-Indicator O B-Indicator I-Indicator I-Indicator
+I-Indicator I-Indicator B-Indicator I-Indicator I-Indicator
+I-Indicator I-Indicator B-Indicator I-Indicator I-Indicator
+I-Indicator I-Indicator O O O O O O O O I-Indicator I-Indicator
+I-Indicator I-Indicator O O O O O I-Indicator
+O O O O O O O O O O O O O O O O O O O O O O O I-Indicator O
+I-Indicator I-Indicator O O O O O O O O O O O O O O O O O O O O O O O O
+O I-Indicator O
+I-Indicator I-Indicator B-Indicator I-Indicator I-Indicator
+I-Indicator I-Indicator B-Indicator I-Indicator I-Indicator
+I-Indicator I-Indicator O I-Indicator I-Indicator
+I-Indicator I-Indicator B-Indicator I-Indicator I-Indicator
+I-Indicator I-Indicator B-Indicator I-Indicator I-Indicator
+I-Indicator I-Indicator O O O O O O O O O O O O O O O O O O O O O O O O B-System O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O I-Indicator O
+I-Indicator I-Indicator O O O O O O O B-Indicator I-Indicator I-Indicator
+I-Indicator I-Indicator O
+O O O O O O O O I-Indicator O
+I-Indicator I-Indicator O O O O O O O O O O O O O O O O O O O O O
+O O O O I-Indicator O
+I-Indicator I-Indicator O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O I-Indicator O
+I-Indicator I-Indicator O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+B-Malware O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O I-Indicator O
+I-Indicator I-Indicator O O O O O O O O O O I-Indicator O
+I-Indicator I-Indicator O O I-Indicator I-Indicator
+I-Indicator I-Indicator O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O B-System O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O I-System O O O O O O O O O O O O O O O O O
+O O O O O O O O B-System O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O B-System O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O B-Malware O O O O O B-System O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+B-Organization B-Organization O O O O O O O O O O O O B-System O O O O O O B-Malware O
+O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O B-System O O O O O O B-System I-System O O O O O O
+O O O O O O O O O
+O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O B-Malware O
+O O O O O O O O O O O O O O O O O O O O O O
+O B-Malware O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O B-System O O O O O
+O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O
+O O O B-System O O O O O O
+O O O O O O O O O O O O O O B-Indicator O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O B-System O O O O O O O O O O
+O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-System O
+O O O O O O O O O B-System O O O O O O O O O B-Organization O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O
+O
+O O O B-Malware O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O
+O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O B-Organization O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O
+O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O
+B-Organization O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O B-Organization O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O B-Indicator I-Indicator I-Indicator B-Indicator I-Indicator I-Indicator B-Indicator I-Indicator I-Indicator O O O O O B-Indicator O O
+O O O O O O B-Indicator O O O O O O O O O O O O O O O B-Indicator O O O O B-System O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-Malware O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O B-Malware O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O B-System O O O O O O O O O O O B-Malware O O B-Malware O O O O O O O O O O O O O O O O O O
+O B-System O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O B-System O O O O O O
+O O O O B-System O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O B-System O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O B-Malware O O O O O O O O O O O O O B-Malware O O O O O
+O O B-Malware O O O O O O O O O O O O O O O O O O O B-Malware O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O I-System I-System O B-Organization O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O
+O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-System O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-Malware O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-System O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O B-System O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O B-System O O O O O O O O O O O O O O O O O
+O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-System O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O B-Indicator O O O O O O B-Indicator O O O O O O B-Indicator B-Indicator B-Indicator B-Indicator B-Indicator B-Indicator B-Indicator O
+B-Indicator I-Indicator B-Indicator B-Indicator B-Indicator B-Indicator B-Indicator B-Indicator B-Indicator B-Indicator B-Indicator
+B-Indicator B-Indicator B-System B-Indicator O B-Indicator O O O O O O O O O O O O O O O O O O O
+O O O O O O I-Indicator O O B-Indicator O B-Indicator I-System O B-Indicator B-Indicator O B-Indicator O B-Indicator O O B-Indicator O O O O B-Indicator O O B-Indicator B-Indicator B-Indicator B-Indicator O O O O O O B-Indicator B-Indicator O B-Indicator
+O I-Indicator B-Indicator O B-Indicator B-Indicator B-Indicator B-Indicator B-Indicator O B-Indicator B-Indicator B-Indicator B-Indicator B-Indicator B-Indicator B-Indicator B-Indicator B-Indicator B-Indicator B-Indicator B-Indicator B-Indicator B-Indicator B-Indicator B-Indicator B-Indicator B-Indicator O B-Indicator O B-Indicator O B-Indicator B-Indicator B-Indicator B-Indicator
+O O O B-Indicator B-Indicator B-Indicator O B-Indicator O O B-Indicator O O B-Indicator O B-Indicator O B-Indicator O O O O O B-Indicator O B-Indicator B-Indicator O B-Indicator B-Indicator O B-Indicator B-Indicator O O O O
+O B-System O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O B-System O O O O O O O O O O O O O O B-Organization O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O B-System O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O I-Indicator O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O B-System O B-System O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O
+O O O O O O O O O O O O O O O B-Organization I-System O
+O O O O O O O O O O O O O
+O O O O O O O O O O O O O O B-System I-System O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O B-System O O
+O O O O O O O O O O O O O O O O
+O O O B-System O O O O O O O O O
+O O O O O O O O O O O O O O O O O
+O I-Malware O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O B-System O O O B-Indicator O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O B-System O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-System O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O
+B-Malware O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O B-System O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O I-Malware O O O O O O O O O O O O O O O O O O
+O O O O O B-Malware O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O B-System O O
+O O O O O O O O O O O B-System O B-Organization O O O O B-System O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O
+O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O B-System O
+O O O O O O O O O O O O O O O O B-System O O
+O O O O O O O O O O O O B-System O O O O O O O O O O B-System O O O O O O O
+O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+B-Malware O O O O O O O O O O O O O B-Malware O O O O O O O O O O B-Malware O O B-System O O O O O O O O
+B-Malware O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+B-Malware O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+B-Malware O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O B-Malware O O O O O O O O O O O O O O O O O O O
+B-Malware O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O B-Malware O O O O O O O O O O O O O O O O B-Malware O O O O
+O O O O O O B-Malware O O O O O O O O O O O O O O O O O O B-System O O B-Malware O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O
+B-Malware O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O B-Malware O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+B-Malware O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O B-System O O O O O O
+O O O B-Malware O O O O O O O O O O O O
+O O O B-Malware O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O B-Malware O O O O O O O O O
+O O O
+O O O O O O O O O O O O O O O O B-Malware O O
+O O O O O O O O O O O O O O O O O O O O O O O O O
+B-Malware O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O B-Malware O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O B-Malware O O O O O O O O O O O O O O O O O O O
+O O O O B-Malware O O O O
+O B-Malware O O O O O O O O
+O O B-Malware O O O O O O O O O
+O B-Malware O O O O O O O O O O O O O O O O O O B-Malware O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O
+O O O O O O O O O O O O O O O
+O O O O O B-Malware O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O B-System O O O O O O O O O O O O
+B-Malware O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O
+O B-Malware O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O
+O O O B-Malware O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O
+O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O
+O O O O O O O O O O
+O O O O O O O O O O O
+O O O O O O O O O O O
+O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O
+O O O O O O O O O O O O O
+O O O O O O O O O O O O O
+B-Malware O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O
+B-Malware O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O B-Indicator O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O
+O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O
+O O O O O O O O O O O O O B-Malware O O O O O O O O O O O O O O O O O O
+O O O B-Malware O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+B-Malware O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O B-Malware O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O B-System O O O O O O
+O O O O O O O O O O
+O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O B-Organization O O O O O O O O B-System O B-Organization O O O O O O O O O O O O O O O O O O O O O O O B-Organization O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O
+B-Malware O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O B-Malware O O O
+O O O O O O O O O O O O
+O O O O B-Malware O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O
+B-Malware O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O B-Organization O O O O O O O O O O O O O B-Organization O O O O O O O O O O O O O O O O O
+O O B-Malware O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O
+O O O O O O O O O O O O O O O O B-Malware O O O O O O O O O O O O O O O O
+B-Malware O O O O O O O O O O
+O O O O B-Malware O O O O O O O O O O
+O O O O O O O O O O O O O O O B-Malware O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O B-Malware O O O O O O O O O
+O O O B-Malware O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O B-Malware O O O B-Malware O O O O O O O O O O O
+O O O O B-Malware O O O O O O O O O
+O O O O B-Malware O O O O O O O O B-Malware O
+O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O B-Malware O
+O O O O O B-Malware O O O O O O
+O O O O O O O O O
+O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O
+O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O B-System O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O B-Malware O O O O O O O O O O O O O O B-Indicator I-Indicator O O I-Indicator O O O O O O O O O O O O O
+O O O O O O O O O O B-Malware O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O B-Malware O O O O O O O O O O O O B-Malware O O O O O O O O O
+O O O O O O B-Malware O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O B-Malware O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O B-Malware O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O B-Malware O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O
+O B-Organization B-System O O O O O O B-System O O O O O O O O O O O
+O O O O O O O O O O O O O O O O
+O O O O O B-System O O O O O O O O O O O O O
+O O O O O O O O O
+O O O O O O O O O O O B-System O O O O O O O O O B-System O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O B-Organization O O O O O O O
+O O O O O O O O O O O O O O O O O B-Organization O O O O O
+O O B-Organization O O O O O O O O O O O O O O B-System O O O O O O O O O O O O O O O O O O O B-System O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O B-System O O B-Organization O O O O O O O O O O O O O O O O O
+B-System O O O O O O O O O O O O O O O O O O O O O O O B-Organization O O O O O O O O O O O O B-Organization O O O O O O O
+O O O O O O O O O O O O O O O O O O B-System O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O
+O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O B-System O O O O O O O O O O O O O O O O O O O O
+O O O O O O O B-System O O O O O O O O O O O O O B-System O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O B-System I-System O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-System O O O O O O O O O O O O O O O
+O O O O O O O O O O B-System I-System O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O B-System O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O B-System O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O
+O O O O O B-Organization I-System O O O O O O O O O O O O O
+O O O O B-Organization O O O O O O O O O O O O O O O O O O O B-System I-System O
+O O O O O B-Malware O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+I-System O O O O B-Malware O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O
+O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O
+O O O O O O O O O O O O O O
+O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O
+O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-Organization O O O O
+O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O B-System I-System O O
+O O O O O O O O O O O O B-Indicator B-Malware B-Indicator B-Indicator O B-System O O O O O O O O O O O O O O O
+O O O I-System O O O O B-System I-System O
+O O O O O O O B-Malware O O O
+O O O O O O O O O O O O
+O O O O O O O O O O O O O O O
+O O O O O O O O O

runs/Nov09_18-46-35_937df8eb1e51/events.out.tfevents.1699555619.937df8eb1e51.28188.0

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:3b18b744996a732bacd21e6e250c3fdb909f69aab7cc7882ea7c09e277752fe5
+size 9648

runs/Nov09_18-46-35_937df8eb1e51/events.out.tfevents.1699555984.937df8eb1e51.28188.1

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:3023b8b60a99c85a184be7cdd1dab279997b2958c97158fde188b1719b766754
+size 560

special_tokens_map.json

@@ -0,0 +1,51 @@
+{
+  "bos_token": {
+    "content": "<s>",
+    "lstrip": false,
+    "normalized": true,
+    "rstrip": false,
+    "single_word": false
+  },
+  "cls_token": {
+    "content": "<s>",
+    "lstrip": false,
+    "normalized": true,
+    "rstrip": false,
+    "single_word": false
+  },
+  "eos_token": {
+    "content": "</s>",
+    "lstrip": false,
+    "normalized": true,
+    "rstrip": false,
+    "single_word": false
+  },
+  "mask_token": {
+    "content": "<mask>",
+    "lstrip": true,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "pad_token": {
+    "content": "<pad>",
+    "lstrip": false,
+    "normalized": true,
+    "rstrip": false,
+    "single_word": false
+  },
+  "sep_token": {
+    "content": "</s>",
+    "lstrip": false,
+    "normalized": true,
+    "rstrip": false,
+    "single_word": false
+  },
+  "unk_token": {
+    "content": "<unk>",
+    "lstrip": false,
+    "normalized": true,
+    "rstrip": false,
+    "single_word": false
+  }
+}

tokenizer_config.json

@@ -0,0 +1,57 @@
+{
+  "add_prefix_space": true,
+  "added_tokens_decoder": {
+    "0": {
+      "content": "<s>",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "1": {
+      "content": "<pad>",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "2": {
+      "content": "</s>",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "3": {
+      "content": "<unk>",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "4": {
+      "content": "<mask>",
+      "lstrip": true,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    }
+  },
+  "bos_token": "<s>",
+  "clean_up_tokenization_spaces": true,
+  "cls_token": "<s>",
+  "eos_token": "</s>",
+  "errors": "replace",
+  "mask_token": "<mask>",
+  "model_max_length": 1000000000000000019884624838656,
+  "pad_token": "<pad>",
+  "sep_token": "</s>",
+  "tokenizer_class": "RobertaTokenizer",
+  "trim_offsets": true,
+  "unk_token": "<unk>"
+}

train_results.json

@@ -0,0 +1,8 @@
+{
+    "epoch": 10.0,
+    "train_loss": 0.08588492049073632,
+    "train_runtime": 361.1884,
+    "train_samples": 2810,
+    "train_samples_per_second": 77.799,
+    "train_steps_per_second": 9.746
+}

trainer_state.json

@@ -0,0 +1,154 @@
+{
+  "best_metric": 0.2404903918504715,
+  "best_model_checkpoint": "/content/cyner_securebert/checkpoint-500",
+  "epoch": 10.0,
+  "eval_steps": 500,
+  "global_step": 3520,
+  "is_hyper_param_search": false,
+  "is_local_process_zero": true,
+  "is_world_process_zero": true,
+  "log_history": [
+    {
+      "epoch": 1.42,
+      "learning_rate": 1.715909090909091e-05,
+      "loss": 0.2304,
+      "step": 500
+    },
+    {
+      "epoch": 1.42,
+      "eval_accuracy": 0.9567872722607134,
+      "eval_f1": 0.35087719298245623,
+      "eval_loss": 0.2404903918504715,
+      "eval_precision": 0.46709129511677283,
+      "eval_recall": 0.280970625798212,
+      "eval_runtime": 2.0115,
+      "eval_samples_per_second": 403.686,
+      "eval_steps_per_second": 50.709,
+      "step": 500
+    },
+    {
+      "epoch": 2.84,
+      "learning_rate": 1.431818181818182e-05,
+      "loss": 0.1092,
+      "step": 1000
+    },
+    {
+      "epoch": 2.84,
+      "eval_accuracy": 0.9600718501411342,
+      "eval_f1": 0.37353433835845895,
+      "eval_loss": 0.2574901878833771,
+      "eval_precision": 0.5425790754257908,
+      "eval_recall": 0.2848020434227331,
+      "eval_runtime": 2.1429,
+      "eval_samples_per_second": 378.923,
+      "eval_steps_per_second": 47.599,
+      "step": 1000
+    },
+    {
+      "epoch": 4.26,
+      "learning_rate": 1.1477272727272729e-05,
+      "loss": 0.0797,
+      "step": 1500
+    },
+    {
+      "epoch": 4.26,
+      "eval_accuracy": 0.957557095201437,
+      "eval_f1": 0.38830584707646176,
+      "eval_loss": 0.2453581690788269,
+      "eval_precision": 0.47005444646098005,
+      "eval_recall": 0.33077905491698595,
+      "eval_runtime": 2.2968,
+      "eval_samples_per_second": 353.535,
+      "eval_steps_per_second": 44.41,
+      "step": 1500
+    },
+    {
+      "epoch": 5.68,
+      "learning_rate": 8.636363636363637e-06,
+      "loss": 0.0615,
+      "step": 2000
+    },
+    {
+      "epoch": 5.68,
+      "eval_accuracy": 0.9585835257890685,
+      "eval_f1": 0.38574748257164987,
+      "eval_loss": 0.2668910622596741,
+      "eval_precision": 0.49015748031496065,
+      "eval_recall": 0.31800766283524906,
+      "eval_runtime": 2.1824,
+      "eval_samples_per_second": 372.068,
+      "eval_steps_per_second": 46.738,
+      "step": 2000
+    },
+    {
+      "epoch": 7.1,
+      "learning_rate": 5.795454545454546e-06,
+      "loss": 0.0504,
+      "step": 2500
+    },
+    {
+      "epoch": 7.1,
+      "eval_accuracy": 0.9580189889658712,
+      "eval_f1": 0.40949554896142437,
+      "eval_loss": 0.26873332262039185,
+      "eval_precision": 0.48849557522123893,
+      "eval_recall": 0.3524904214559387,
+      "eval_runtime": 2.58,
+      "eval_samples_per_second": 314.726,
+      "eval_steps_per_second": 39.534,
+      "step": 2500
+    },
+    {
+      "epoch": 8.52,
+      "learning_rate": 2.954545454545455e-06,
+      "loss": 0.0379,
+      "step": 3000
+    },
+    {
+      "epoch": 8.52,
+      "eval_accuracy": 0.9573004875545291,
+      "eval_f1": 0.4077530509691314,
+      "eval_loss": 0.2752237319946289,
+      "eval_precision": 0.46557377049180326,
+      "eval_recall": 0.36270753512132825,
+      "eval_runtime": 2.3982,
+      "eval_samples_per_second": 338.588,
+      "eval_steps_per_second": 42.532,
+      "step": 3000
+    },
+    {
+      "epoch": 9.94,
+      "learning_rate": 1.1363636363636364e-07,
+      "loss": 0.0339,
+      "step": 3500
+    },
+    {
+      "epoch": 9.94,
+      "eval_accuracy": 0.9585835257890685,
+      "eval_f1": 0.41141141141141135,
+      "eval_loss": 0.2827732264995575,
+      "eval_precision": 0.4990892531876138,
+      "eval_recall": 0.3499361430395913,
+      "eval_runtime": 2.6514,
+      "eval_samples_per_second": 306.252,
+      "eval_steps_per_second": 38.47,
+      "step": 3500
+    },
+    {
+      "epoch": 10.0,
+      "step": 3520,
+      "total_flos": 583523808348012.0,
+      "train_loss": 0.08588492049073632,
+      "train_runtime": 361.1884,
+      "train_samples_per_second": 77.799,
+      "train_steps_per_second": 9.746
+    }
+  ],
+  "logging_steps": 500,
+  "max_steps": 3520,
+  "num_train_epochs": 10,
+  "save_steps": 500,
+  "total_flos": 583523808348012.0,
+  "trial_name": null,
+  "trial_params": null
+}

training_args.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:c82f0b343ede2370f1398f43631f5e76602d75e749fcb695315c833835ec52c8
+size 4600