|
--- |
|
tags: |
|
- llama |
|
- sh2orc |
|
|
|
base_model: |
|
- meta-llama/Meta-Llama-3.1-8B-Instruct |
|
--- |
|
|
|
# Llama-3.1-Korean-8B-Instruct |
|
|
|
Llama-3.1-Korean-8B-Instruct is finetuned from Meta-Llama-3.1: |
|
* [meta-llama/Meta-Llama-3.1-8B-Instruct](https://huggingface.co/meta-llama/Meta-Llama-3.1-8B-Instruct) |
|
|
|
- Dataset: |
|
- [maywell/ko_wikidata_QA](https://huggingface.co/datasets/maywell/ko_wikidata_QA) |
|
- [lcw99/wikipedia-korean-20240501-1million-qna](https://huggingface.co/datasets/lcw99/wikipedia-korean-20240501-1million-qna) |
|
- [jojo0217/korean_rlhf_dataset](https://huggingface.co/datasets/jojo0217/korean_rlhf_dataset) |
|
|
|
## π» Usage |
|
|
|
Use with transformers |
|
Starting with ```transformers >= 4.43.0``` onward, you can run conversational inference using the Transformers pipeline abstraction or by leveraging the Auto classes with the generate() function. |
|
Make sure to update your transformers installation via ```pip install --upgrade transformers.``` |
|
|
|
```python |
|
!pip install -qU transformers accelerate |
|
|
|
from transformers import AutoTokenizer |
|
import transformers |
|
import torch |
|
|
|
model = "sh2orc/Llama-3.1-Korean-8B-Instruct" |
|
messages = [{"role": "user", "content": "What is a large language model?"}] |
|
|
|
tokenizer = AutoTokenizer.from_pretrained(model) |
|
prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True) |
|
pipeline = transformers.pipeline( |
|
"text-generation", |
|
model=model, |
|
torch_dtype=torch.float16, |
|
device_map="auto", |
|
) |
|
|
|
outputs = pipeline(prompt, max_new_tokens=256, do_sample=True, temperature=0.7, top_k=50, top_p=0.95) |
|
print(outputs[0]["generated_text"]) |
|
``` |
|
|
|
## Q&A |
|
|
|
**Q. λνμμ λν΄μ μλ €μ£ΌμΈμ.** <br> |
|
A. λνμμ 1896λ
μμΌλ‘, νκ΅ μ΅μ΄μ μ¬μ± μμΈμ΄μ μκ°μ
λλ€. κ·Έλ
λ μΌλ³Έμμ κ΅μ‘μ λ°κ³ κ·κ΅ν ν, λ€μν μνλ€μ λ°ννλ©° νλμ μΈ λ¬Έν μ€νμΌμ μ 보μμ΅λλ€. κ·Έλ
μ λνμ μ€ νλμΈ 'λ΄ λμ΄μ μ΄λ³'μ μ¬μ±μ΄ κ²ͺλ μ¬λκ³Ό μΈλ‘μμ κ°μ μ ννν κ²μΌλ‘ μ λͺ
ν©λλ€. |
|
|
|
λνμμ λν μ¬νμ λ¬Έμ λ₯Ό λ€λ£¨λ©° λ
νΉνκ³ νμ μ μΈ μμ μμ€μ μΌμ΅λλ€. κ·Έλ
μ μνλ€μ λΉμ μ¬νμ μΌλ‘ ν° μν₯μ λ―Έμ³€μΌλ©°, μ΄νμλ λ§μ μ¬λλ€μκ² μκ°μ΄ λμμ΅λλ€. |
|
|
|
κ·Έλ
λ λν μ¬μ± κΆλ¦¬ λ° νλ± μ΄λμ μ°Έμ¬νμμΌλ©°, μ΄λ¬ν νλμΌλ‘ μΈν΄ κ·Έλ
λ₯Ό νκ΅ μ΅μ΄μ μ¬μ± λ―Όμ‘±μ£ΌμμλΌκ³ λΆλ μ΅λλ€. |
|
|
|
μμ½νλ©΄ λνμμ μμ¬μ κ°μ₯ μ€μν νκΈλ¬Ένκ°μ΄μ μμΈμΌλ‘ κ°μ£Όλ©λλ€. κ·Έλ
μ μ°½μ‘°λ ₯κ³Ό μν₯λ ₯ λλΆμ μ€λλ κΉμ§λ μ°λ¦¬μκ² κ°μΉλ₯Ό μ 곡νλ μμ μ μ
μ λ€μ΄ λ¨μμμ΅λλ€. |
|
|
|
**Q. 2μ°¨ μΈκ³λμ μ λν΄μ μλ €μ€** <br> |
|
A. 2μ°¨ μΈκ³λμ μ 1939λ
λΆν° 1945λ
κΉμ§ μ§μλ μ ν¬μμ΅λλ€. μ΄ μ μμ μ λ½, μμμ λ° λΆμλ©λ¦¬μΉ΄μ λ§μ κ΅κ°λ€μ΄ μ°Έμ¬νμμΌλ©°, λ
μΌκ³Ό μΌλ³Έμ΄ μ£Όμ μ μΌλ‘ νλνμ΅λλ€. |
|
|
|
μ μ μ΄κΈ°μλ λμΉ λ
μΌμ΄ ν΄λλλ₯Ό 침곡νκ³ μλ ¨μ 곡격νλ©° μμ λ½μ μ§μΆνλ λ± λΉ λ₯΄κ² νμ₯λμμ΅λλ€. μκ΅κ³Ό νλμ€λ λ
μΌκ΅°μκ² ν¨λ°°νμ¬ μ°ν©κ΅μμ λ²μ΄λ¬μ§λ§ λ―Έκ΅μ 곧 μ°Έμ μ λ€μ΄κ°κ³ κ²°κ΅ μΉλ¦¬ν κ²μ
λλ€. |
|
|
|
μΌλ³Έλ λλ¨μμμμ ννμ μ§μμμ μ λ Ήμ§λ₯Ό ν보νλ©΄μ μ€κ΅κ³Όμ μ μμ λ²μμ΅λλ€. κ·Έλ¬λ λ―Έκ΅μ μμνν ν¬νλ‘ μΈν΄ μΌλ³Έμ ν볡νκ² λμμ΅λλ€. |
|
|
|
μ μ κΈ°κ° λμ μλ°±λ§ λͺ
μ΄μμ μ¬λλ€μ΄ μ¬λ§νμΌλ©° κ²½μ μ νΌν΄κ° λ§λν κ²μΌλ‘ μλ €μ Έ μμ΅λλ€. |
|
|
|
|
|
**Q. λμ λΉλ Έλλ°, λμ μ κ°μΌλ©΄?** <br> |
|
A. λμ λΉλ Έλλ° μ κ°μΌλ©΄, λμ λΉλ¦° μ¬λμκ² λκ°λ‘ μΈλ΄μ¬μ΄λ μ΄ν΄λ₯Ό 보μ¬μ£Όμ΄μΌ ν©λλ€. λν, μν©μ λ°λΌμ λ λ§μ 보μμ ν΄μ€ μλ μμ΅λλ€. |
|
|
|
|
|
**Q. 건κ°νκ² μ΄κΈ° μν μμΈ** <br> |
|
|
|
건κ°νκ² μ΄κΈ° μν μμΈλ λ€μκ³Ό κ°μ΅λλ€: |
|
|
|
1. κ·μΉμ μΈ μ΄λ: λ§€μΌ μ μ΄λ 30λΆ μ΄μμ μ 체 νλμ νμΈμ. |
|
2. κ· ν μ‘ν μλ¨: κ³ΌμΌ, μ±μ, λ¨λ°±μ§ λ° κ±΄κ°ν μ§λ°©μ΄ ν¬ν¨λ λ€μν μμμ μμ·¨νμΈμ. |
|
3. μΆ©λΆν μλ©΄: ν루μ 7-9μκ°μ μλ©΄μ μ·¨νμΈμ. |
|
4. μ€νΈλ μ€ κ΄λ¦¬: μκ°, λͺ
μ λλ λ€λ₯Έ μ€νΈλ μ€ μν κΈ°μ μ νμ©νμΈμ. |
|
5. μ κΈ°μ μΌλ‘ κ²μ§ λ°κΈ° |
|
6. ν‘μ°κ³Ό μμ½μ¬ μλΉλ₯Ό νΌνμμμ€ |
|
7. μμ νκ³ κΉ¨λν νκ²½μμ μννκΈ° |
|
|