Repo này là sản phẩm demo cho ứng dụng của LoRA (Low-Rank Adapter) vào LLM (Lagre Languagle Model).
Mục tiêu:
- Chứng minh LoRA đã làm thay đổi weight của model gốc, từ đó giải thích thêm về ứng dụng của LoRA
Kết quả đạt được:
- Fine-tune thành công LoRA về format text của model gốc chuyển thành format text theo style story telling. Dataset có thể tìm kiếm tại đây
Thông tin và thông số fine-tune parameter:
Xem thêm tại file Notebook finetune LLM.