|
--- |
|
language: ko |
|
license: mit |
|
tags: |
|
- bart |
|
- grammar |
|
--- |
|
|
|
# kogrammar-tiny-distil |
|
|
|
Dataset: 국립국어원 맞춤법 교정 말뭉치 |
|
<br> |
|
<br> |
|
**Backbone Model**: |
|
- [kobart-base-v2](https://huggingface.co/gogamza/kobart-base-v2/blob/main/README.md) |
|
- [kogrammar-base](https://huggingface.co/theSOL1/kogrammar-base) |
|
|
|
**Contributors**: |
|
- ChangGeon Kang: [NeverAsking](https://github.com/NeverAsking/) |
|
- Subin Park: [SOL1archive](https://github.com/SOL1archive/) |
|
|
|
**GitHub Repo**: |
|
- [SOL1archive/KoGrammar](https://github.com/SOL1archive/KoGrammar) |
|
|
|
## Train Method |
|
전체 데이터셋 중 약 67.5%를 학습데이터로 활용하여 학습함. |
|
<br> |
|
SFT Distillation을 이용해 [kogrammar-base](https://huggingface.co/theSOL1/kogrammar-base) 모델의 Decoder Layer를 6개에서 1개로 줄여 다시 학습시킴. |
|
|
|
## Metric |
|
|BLEU-2|ROUGE-2 F1| |
|
|-|-| |
|
|77.8 %|55.0 %| |
