lubocido commited on
Commit
7f2d069
1 Parent(s): dc3dfdd

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +10 -2
README.md CHANGED
@@ -2,10 +2,18 @@
2
 
3
  Saltlux, AI Labs 에서 개발한 [saltlux/Ko-Llama3-Luxia-8B](https://huggingface.co/saltlux/Ko-Llama3-Luxia-8B) 모델을 Instruction Fine tuning한 모델입니다.
4
  사용된 데이터셋으로 [maywell/ko_wikidata_QA](https://huggingface.co/datasets/maywell/ko_wikidata_QA)를 사용하였으며 SFTTrainer를 통해 3ep로 학습했습니다.
5
- instruction prompt는 다음과 같습니다.
6
 
7
  ```python
8
- <|im_start|>user\n{question}<|im_end|>\n<|im_start|>assistant\n{answer}<|im_end|>
 
 
 
 
 
 
 
 
9
  ```
10
 
11
  ## HyperParameter
 
2
 
3
  Saltlux, AI Labs 에서 개발한 [saltlux/Ko-Llama3-Luxia-8B](https://huggingface.co/saltlux/Ko-Llama3-Luxia-8B) 모델을 Instruction Fine tuning한 모델입니다.
4
  사용된 데이터셋으로 [maywell/ko_wikidata_QA](https://huggingface.co/datasets/maywell/ko_wikidata_QA)를 사용하였으며 SFTTrainer를 통해 3ep로 학습했습니다.
5
+ instruction prompt는 Qwen2 모델과 동일하게 적용시켰습니다.
6
 
7
  ```python
8
+ <|im_start|>system
9
+ You are a helpful assistant.<|im_end|>
10
+ <|im_start|>user
11
+ What is the Qwen2?<|im_end|>
12
+ <|im_start|>assistant
13
+ Qwen2 is the new series of Qwen large language models<|im_end|>
14
+ <|im_start|>user
15
+ Tell me more<|im_end|>
16
+ <|im_start|>assistant
17
  ```
18
 
19
  ## HyperParameter