File size: 474 Bytes
88daba2 637265b 6a99cce 637265b 6a99cce 637265b |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 |
---
license: apache-2.0
language:
- ko
datasets:
- squarelike/sharegpt_deepl_ko_translation
tags:
- pytorch
- causal-lm
---
# poly-ko-1.3b-translate
- EleutherAI/polyglot-ko-1.3b을 squarelike/sharegpt_deepl_ko_translation으로 영한 번역만 가능하도록 fine-tuning한 모델
- QRoLA기법으로 fine-tunnig
### 훈련 정보
- Epoch: 1
- learning-rate: 3e-4
- batch_size: 3
- Lora r: 8
- Lora target modules: query_key_value
3090GPU 1대로 훈련했습니다. |