Upload app.py.py

app.py.py

@@ -0,0 +1,211 @@
+# -*- coding: utf-8 -*-
+"""Untitled35.ipynb
+
+Automatically generated by Colaboratory.
+
+Original file is located at
+    https://colab.research.google.com/drive/1o8BEsLXWGF91Q1MOvzj5ZRaEHgUp-kOM
+
+# 0. 필요한 모듈 다운로드 및 불러오기
+"""
+
+!pip install datasets
+!pip install huggingface_hub
+!python -c "from huggingface_hub.hf_api import HfFolder; HfFolder.save_token('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')"
+!pip install accelerate>=0.20.1
+!pip install accelerate -U
+
+import torch
+from transformers import BertTokenizerFast, BertForQuestionAnswering, Trainer, TrainingArguments
+from datasets import load_dataset
+from collections import defaultdict
+
+"""# 1. 데이터 가져오기"""
+
+dataset_load = load_dataset('Multimodal-Fatima/OK-VQA_train') # Multimodal-Fatima/OK-VQA_train 불러오기
+Dataset = dataset_load['train'].select(range(300)) # 데이터 200~300개 불러오기 -> 제작자는 300개
+
+"""### 1-1. 결과 확인"""
+
+Dataset
+
+"""# 2. 불필요한 특성 제외"""
+
+selected_features = ['image', 'answers', 'question']
+selected_dataset = Dataset.from_dict({feature: Dataset[feature] for feature in selected_features})
+
+"""### 2-1. 결과 확인"""
+
+selected_dataset
+
+"""# 3. 소프트 인코딩 (라벨 인코딩)"""
+
+# 각 답변들을 고유한 ID로 매핑하기 위한 딕셔너리 생성
+answers_to_id = defaultdict(lambda: len(answers_to_id))
+selected_dataset = selected_dataset.map(lambda ex: {'answers': [answers_to_id[ans] for ans in ex['answers']],
+                                                   'question': ex['question'],
+                                                   'image': ex['image']})
+
+# id를 답변들로 매핑하는 딕셔너리 생성
+id_to_answers = {v: k for k, v in answers_to_id.items()}
+
+# labels로의 매핑을 위한 딕셔너리 생성
+id_to_labels = {k: ex['answers'] for k, ex in enumerate(selected_dataset)}
+
+# ID로 매핑된 'answers'를 labels로 변환
+selected_dataset = selected_dataset.map(lambda ex: {'answers': id_to_labels.get(ex['answers'][0]),
+                                                   'question': ex['question'],
+                                                   'image': ex['image']})
+# 편평화시키기
+flattened_features = []
+
+# 각 데이터 편평화하여 flattened_features에 추가
+for ex in selected_dataset:
+    flattened_example = {
+        'answers': ex['answers'],
+        'question': ex['question'],
+        'image': ex['image'],
+    }
+    flattened_features.append(flattened_example)
+
+"""### 3-1. 결과 확인"""
+
+selected_dataset
+
+"""# 4. 모델 가져오기"""
+
+##모델 가져오기
+from huggingface_hub import notebook_login
+notebook_login('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')
+
+# Use a pipeline as a high-level helper
+from transformers import pipeline
+pipe = pipeline("visual-question-answering", model="microsoft/git-base-vqav2")
+
+# Load model directly
+from transformers import AutoProcessor, AutoModelForCausalLM
+
+processor = AutoProcessor.from_pretrained("microsoft/git-base-vqav2")
+model = AutoModelForCausalLM.from_pretrained("microsoft/git-base-vqav2")
+# Push the model to your namespace with the name "my-finetuned-bert".
+model.push_to_hub("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")
+
+
+
+"""# 5. 데이터 전처리"""
+
+#BERT 토크나이저 불러오기
+tokenizer = BertTokenizerFast.from_pretrained('bert-base-multilingual-cased')
+
+# 데이터셋 불러오기
+ok_vqa_dataset = load_dataset("Multimodal-Fatima/OK-VQA_train")
+
+# 처음 300개의 예제만 선택합니다
+ok_vqa_dataset = ok_vqa_dataset['train'].select(range(300))
+
+# 데이터 전처리 함수 정의
+def preprocess_function(examples):
+    # 질문 토큰화
+    tokenized_inputs = tokenizer(examples['question'], truncation=True, padding=True)
+
+    # 'pixel_values'와 'pixel_mask'를 300개의 요소로 설정합니다
+    examples['pixel_values'] = [(4, 3, 244, 244)] * 300  # 실제 픽셀 값으로 대체해야 합니다
+    examples['pixel_mask'] = [1] * 300  # 실제 픽셀 마스크 값으로 대체해야 합니다
+
+    return {
+        'input_ids': tokenized_inputs['input_ids'],
+        'attention_mask': tokenized_inputs['attention_mask'],
+        'pixel_values': examples['pixel_values'],
+        'pixel_mask': examples['pixel_mask'],
+        'labels': [[label] for label in examples['answers'][:300]]  # 'answers'를 2차원 배열로 한정합니다
+    }
+
+# 데이터셋에 전처리를 적용합니다
+ok_vqa_dataset = ok_vqa_dataset.map(preprocess_function, batched=True)
+
+# 'ok_vqa_dataset'의 features를 정리합니다
+ok_vqa_dataset.set_format(type='torch', columns=['input_ids', 'attention_mask', 'pixel_values', 'pixel_mask', 'labels'])
+
+
+#ok_vqa_dataset에서 하기가 힘들어서 새로운 new_ok_vqa_dataset으로 정렬
+new_ok_vqa_dataset = Dataset.from_dict({
+    'input_ids': ok_vqa_dataset['input_ids'],
+    'attention_mask': ok_vqa_dataset['attention_mask'],
+    'pixel_values': ok_vqa_dataset['pixel_values'],
+    'pixel_mask': ok_vqa_dataset['pixel_mask'],
+    'labels': ok_vqa_dataset['labels']
+})
+
+"""### 5-1. 결과 확인"""
+
+new_ok_vqa_dataset
+
+"""# 6. 배치 생성 및 모델 초기화"""
+
+from transformers import BertForSequenceClassification, BertTokenizer
+
+# 모델 초기화 및 가중치 불러오기
+model_name = 'microsoft/git-base-vqav2'  # 사용할 모델의 이름
+model = BertForSequenceClassification.from_pretrained(model_name)
+
+# 출력 레이블 수 설정
+num_labels = len(id_to_labels)  # 레이블의 수는 ID로부터 생성된 labels의 길이에 해당합니다
+model.config.num_labels = num_labels  # 모델 설정에서 출력 레이블 수를 설정합니다
+
+# 레이블을 ID로 변환하는 함수
+id_to_labels = {}
+
+for k, ex in enumerate(selected_dataset):
+    if ex['answers'] is not None and len(ex['answers']) > 0:
+        id_to_labels[k] = ex['answers'][0]
+
+label_to_id = {v: k for k, v in id_to_labels.items()}
+
+# 예측된 ID를 레이블로 변환하는 함수
+def id_to_label_fn(pred_id):
+    return id_to_labels[pred_id]
+
+# 실제 레이블을 모델 출력 포맷에 맞는 ID로 변환하는 함수
+def label_to_id_fn(label):
+    return label_to_id[label]
+
+# 예측할 입력 문장
+input_text = "Your input text goes here..."
+
+# 입력 문장을 토크나이징하여 모델에 입력할 형태로 변환
+tokenizer = BertTokenizer.from_pretrained(model_name)
+encoded_input = tokenizer(input_text, return_tensors='pt')
+
+# 모델에 입력 데이터를 전달하여 예측 수행
+with torch.no_grad():
+    outputs = model(**encoded_input)
+
+# 예측 결과에서 가장 높은 확률을 가진 레이블 ID 가져오기
+predicted_label_id = torch.argmax(outputs.logits).item()
+
+# 예측된 레이블 ID를 레이블로 변환하여 출력
+predicted_label = id_to_label_fn(predicted_label_id)
+
+"""### 6-1. 결과 확인"""
+
+print("Predicted Label:", predicted_label)
+
+"""# 7. Finetuning"""
+
+# TrainingArguments 설정
+training_args = TrainingArguments(
+    output_dir='./results',           # 모델 아웃풋 디렉토리
+    num_train_epochs=20,              # 학습 에폭 수
+    per_device_train_batch_size=4,    # 배치 사이즈
+    logging_steps=500,                # 로깅 간격
+)
+
+# Trainer 모델 초기화
+trainer = Trainer(
+    model=model,                      # 학습 모델
+    args=training_args,               # TrainingArguments
+    train_dataset=new_ok_vqa_dataset  # 학습 데이터셋
+)
+
+"""7-1. 결과 확인"""
+