|
--- |
|
datasets: |
|
- jojo0217/korean_rlhf_dataset |
|
- jojo0217/korean_safe_conversation |
|
- HAERAE-HUB/qarv-instruct-ko |
|
- HAERAE-HUB/Korean-Human-Judgements |
|
- HAERAE-HUB/K2-Feedback |
|
- changpt/ko-lima-vicuna |
|
- maywell/kiqu_samples |
|
- CarrotAI/ko-instruction-dataset |
|
- 4n3mone/vector_bench |
|
- youjunhyeok/llama3_train |
|
language: |
|
- ko |
|
library_name: transformers |
|
license: apache-2.0 |
|
pipeline_tag: text-generation |
|
tags: |
|
- llama-factory |
|
--- |
|
|
|
## Model |
|
- base model: [beomi/Solar-Ko-Recovery-11B](https://huggingface.co/beomi/Solar-Ko-Recovery-11B) |
|
|
|
## Dataset |
|
- [jojo0217/korean_rlhf_dataset](https://huggingface.co/datasets/jojo0217/korean_rlhf_dataset) |
|
- [jojo0217/korean_safe_conversation](https://huggingface.co/datasets/jojo0217/korean_safe_conversation) |
|
- [HAERAE-HUB/qarv-instruct-ko](https://huggingface.co/datasets/HAERAE-HUB/qarv-instruct-ko) |
|
- [HAERAE-HUB/Korean-Human-Judgements](https://huggingface.co/datasets/HAERAE-HUB/Korean-Human-Judgements) |
|
- [HAERAE-HUB/K2-Feedback](https://huggingface.co/datasets/HAERAE-HUB/K2-Feedback) |
|
- [changpt/ko-lima-vicuna](https://huggingface.co/datasets/changpt/ko-lima-vicuna) |
|
- [maywell/kiqu_samples](https://huggingface.co/datasets/maywell/kiqu_samples) |
|
- [CarrotAI/ko-instruction-dataset](https://huggingface.co/datasets/CarrotAI/ko-instruction-dataset) |
|
- [4n3mone/vector_bench](https://huggingface.co/datasets/4n3mone/vector_bench) |
|
- [youjunhyeok/llama3_train](https://huggingface.co/datasets/youjunhyeok/llama3_train) |
|
|
|
## Load Model |
|
|
|
Use the following Python code to load the model: |
|
|
|
```python3 |
|
from transformers import AutoTokenizer, AutoModelForCausalLM |
|
|
|
path = 'youjunhyeok/solar-ko-recovery-11b-chat-v1' |
|
|
|
model = AutoModelForCausalLM.from_pretrained(path) |
|
tokenizer = AutoTokenizer.from_pretrained(path) |
|
model.to('cuda') |
|
``` |
|
|
|
## Chat |
|
|
|
```python3 |
|
def chat(message): |
|
messages = [ |
|
{"role": "system", "content": "당신은 인공지능 어시스턴트입니다. 친절하고 상세한 답변을 해주세요."}, |
|
{"role": "user", "content": message}, |
|
] |
|
|
|
input_ids = tokenizer.apply_chat_template( |
|
messages, |
|
add_generation_prompt=True, |
|
tokenize=True, |
|
return_tensors="pt" |
|
).to(model.device) |
|
|
|
outputs = model.generate( |
|
input_ids, |
|
max_new_tokens=1024, |
|
do_sample=True, |
|
temperature=0.9, |
|
top_p=0.95, |
|
) |
|
response = outputs[0][input_ids.shape[-1]:] |
|
print(tokenizer.decode(response, skip_special_tokens=True)) |
|
|
|
chat('태양의 흑점 폭발에 대해 설명해줘.') |
|
|
|
``` |
|
|
|
## Output |
|
|
|
``` |
|
넵! 태양의 흑점 폭발에 대해 설명해드리겠습니다. |
|
태양의 흑점 폭발은 태양의 표면에 있는 흑점이 폭발하여 생기는 현상입니다. |
|
흑점은 태양의 자기장이 강한 부분으로, 그 부위의 자기장이 폭발하면서 에너지를 방출하는 것이지요. |
|
이 폭발은 태양의 에너지 변화로 이어져 지구에 다양한 영향을 미칠 수 있습니다. |
|
예를 들어, 지구의 통신 시스템에 교란을 일으키거나 GPS 등의 장비에 오류가 발생할 수 있습니다. |
|
또한, 태양에서 방출된 에너지가 지구에 도달하여 오로라를 발생시키기도 하지요. |
|
따라서, 태양의 흑점 폭발은 태양의 활동성과 관련이 깊으며, 태양의 자기장 변화를 연구하는 데에도 중요한 지표가 됩니다. |
|
더 궁금하신 점이 있으면 언제든지 말씀해 주세요! |
|
``` |
|
|
|
|
|
## Llama_factory Train Config |
|
{data_dir}, {dataset_name}, {output_dir} is variable |
|
``` |
|
bf16: true |
|
cutoff_len: 2048 |
|
dataset: k2-feedback,kiqu_samples,ko_lima_vicuna,ko-instruction-data,korean-human-judgements,rlhf_dataset,safe_conversation,qarv-instruct-ko,vector_bench,llama3_train |
|
dataset_dir: {data_dir} |
|
ddp_timeout: 180000000 |
|
do_train: true |
|
eval_steps: 250 |
|
eval_strategy: steps |
|
finetuning_type: lora |
|
flash_attn: auto |
|
gradient_accumulation_steps: 4 |
|
include_num_input_tokens_seen: true |
|
learning_rate: 1.0e-06 |
|
logging_steps: 5 |
|
lora_alpha: 16 |
|
lora_dropout: 0.05 |
|
lora_rank: 16 |
|
lora_target: all |
|
lr_scheduler_type: inverse_sqrt |
|
max_grad_norm: 1.0 |
|
max_samples: 100000 |
|
model_name_or_path: beomi/Solar-Ko-Recovery-11B |
|
num_train_epochs: 2.0 |
|
optim: adamw_torch |
|
output_dir: saves/SOLAR-10.7B/lora/solar-ko-recovery-instruct-v2 |
|
packing: false |
|
per_device_eval_batch_size: 8 |
|
per_device_train_batch_size: 8 |
|
plot_loss: true |
|
preprocessing_num_workers: 16 |
|
report_to: none |
|
save_steps: 250 |
|
stage: sft |
|
template: solar |
|
val_size: 0.05 |
|
warmup_steps: 250 |
|
|
|
``` |