---
tags:
 - llama
 - sh2orc

base_model:
 - meta-llama/Meta-Llama-3.1-8B-Instruct
---

# Llama-3.1-Korean-8B-Instruct

Llama-3.1-Korean-8B-Instruct is finetuned from Meta-Llama-3.1:
* [meta-llama/Meta-Llama-3.1-8B-Instruct](https://huggingface.co/meta-llama/Meta-Llama-3.1-8B-Instruct)

- Dataset:
  - [maywell/ko_wikidata_QA](https://huggingface.co/datasets/maywell/ko_wikidata_QA)
  - [lcw99/wikipedia-korean-20240501-1million-qna](https://huggingface.co/datasets/lcw99/wikipedia-korean-20240501-1million-qna)
  - [jojo0217/korean_rlhf_dataset](https://huggingface.co/datasets/jojo0217/korean_rlhf_dataset)
  - [MarkrAI/KoCommercial-Dataset](https://huggingface.co/datasets/MarkrAI/KoCommercial-Dataset)

## 💻 Usage for Transformers

Use with transformers
Starting with ```transformers >= 4.43.0``` onward, you can run conversational inference using the Transformers pipeline abstraction or by leveraging the Auto classes with the generate() function.
Make sure to update your transformers installation via ```pip install --upgrade transformers.```

```python
!pip install -qU transformers accelerate

from transformers import AutoTokenizer
import transformers
import torch

model = "sh2orc/Llama-3.1-Korean-8B-Instruct"
messages = [{"role": "user", "content": "What is a large language model?"}]

tokenizer = AutoTokenizer.from_pretrained(model)
prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
pipeline = transformers.pipeline(
    "text-generation",
    model=model,
    torch_dtype=torch.float16,
    device_map="auto",
)

outputs = pipeline(prompt, max_new_tokens=2048, do_sample=True, temperature=0.7, top_k=50, top_p=0.95)
print(outputs[0]["generated_text"])
```

## 💻 Usage for VLLM

```python

def gen(instruction):
    messages = [
        {
          "role": "system",
          "content": "당신은 훌륭한 AI 비서입니다. 답변 중 모르는 내용이면 모른다고 답해주세요. You are a great AI assistant. If you don't know about a user question, please tell me you don't know about it."
        },
        {
          "role": "user",
          "content": instruction
        }, 
    ]
    
    prompt_message = tokenizer.apply_chat_template(
            messages, 
            tokenize=False, 
            add_generation_prompt=True,
    )
    
    eos_token_id = [tokenizer.eos_token_id, tokenizer.convert_tokens_to_ids("<|eot_id|>")]
    
    outputs = llm.generate(prompt_message, SamplingParams(
        stop_token_ids=eos_token_id, 
        temperature=0.3, 
        top_p=0.9,
        frequency_penalty=1.3,
        max_tokens=4096))
    
    for output in outputs:
        propt = output.prompt
        generated_text = output.outputs[0].text
        print(generated_text)

```

## Q&A

<div style="font-size:0.95rem">
  
**Q. 나혜석에 대해서 알려주세요.** <br>
A. 나혜석은 1896년에 태어난 한국의 여성 독립운동가이자 문학가입니다. 그녀는 일본에 유학하여 일본에서 활동하였으며, 여성 독립운동과 문학 활동을 통해 한국 사회에 큰 영향을 미쳤습니다. 그녀의 대표작으로는 '여자의 신화'와 '여자의 인생' 등이 있습니다.

또한, 나혜석은 대한민국의 제1대 국회의원으로도 활동하였으며, 여성 권리 운동과 교육 분야에서 중요한 역할을 했습니다. 그녀는 1948년에 사망하였지만, 그녀의 업적은 오늘날까지 기억되고 있습니다.

나혜석의 생애와 업적에 대해 더 알고 싶으시면 어떤 부분을 알려주세요?

**Q. 2차 세계대전에 대해서 알려줘** <br>
A. 2차 세계 대전은 1939년부터 1945년까지 일어난 대규모 군사 충돌로, 제1차 세계 대전 이후에 발생한 최초의 전구전이었습니다. 이 전쟁은 독일과 이탈리아가 주도하여 발발했고, 소련과 미국이 주요 연합국으로 참여했습니다. 일본 또한 중립국이었지만, 독일과의 동맹 관계를 맺고 만주와 중국을 침략하였습니다.

독일은 나치당의 아돌프 히틀러가 집권하면서 확장 정책을 추진하여 오스트리아를 합병하고 체코슬로바키아를 분할하였습니다. 프랑스는 폴란드를 침공했지만 패배했고, 영국도 독일에게 항복했습니다. 그러나 영국에서는 윈스턴 처칠 총리가 집권하면서 저항 운동이 활발해졌고, 미국에서도 프랭클린 D 루즈벨트 대통령이 재선되면서 전쟁에 참여하기 시작했습니다.

소련은 스탈린 지도 아래에서 독립적인 외교 정책을 추진하며 일본과의 동맹 관계를 맺었지만, 나치 독일과의 전쟁에서 승리하면서 유럽 전역에 영향력을 행사하게 됩니다. 미국과 영국에서는 대서양 해전에서 승리하며 유럽 본토로 진격했고, 소련 역시 베르신-라파예프 선까지 진격합니다.

일본은 중국 본토와 한국 반도에도 영향력을 행사하며 태평양 지역에서의 영유권 확대를 목표로 삼았습니다. 그러나 미군 공습으로 인해 상륙 작전 실패와 함께 패배하게 됩니다.

2차 세계 대전에는 많은 국가들이 참전했으며, 사망자 수는 약 50~80백만 명 정도였습니다. 이 전쟁으로 인해 유엔 기구가 설립되었고, 국제 연합이라는 이름으로 알려져 있습니다.
 
물론 이것만 알고 있지 않을 수도 있으니 더 자세히 알고 싶다면 추가 질문이나 자료 요청 부탁드립니다!


**Q. 돈을 빌렸는데, 돈을 안 갚으면?** <br>
A. 돈을 빌렸는데, 돈을 안 갚으면 큰 문제가 발생할 수 있습니다. 먼저, 빌린 사람과 대출한 사람 사이에 계약이 맺어져야 합니다. 이 계약은 법적으로 인정되며, 대출금액과 이자율, 갚기 기간 등이 정해져 있습니다.

대출금을 미납하면 다음과 같은 결과가 발생할 수 있습니다:

1. **이자 부과**: 미납된 금액에 대한 이자가 부과됩니다. 이자는 원금의 일정 비율로 계산됩니다.
2. **채무불이행**: 대출자(빌린 사람)는 채무불이행죄를 범하게 됩니다.
3. **법적 조치**: 채권자는 법원에서 소송을 제기하여 원상복구를 청구하거나 변제청구를 할 수 있습니다.
4. **신용도 하락**: 신용평가를 받았던 경우에는 신용도가 하락하고 금융기관에서는 차입이나 카드 발급 등에 어려움을 겪게 됩니다.

따라서, 빌린 돈은 반드시 지급해야 합니다. 만약 지급 불가능한 경우에는 즉시 통보하고 협의하여 해결해야 합니다.

하지만 모든 상황에서 가능한 것은 아니므로 전문적인 상담이나 법률상담 등을 받아보는 것이 좋습니다.

혹시 더 궁금하신 점 있으신가요?

**Q. 건강하게 살기 위한 자세** <br>
A. 건강하게 살기 위한 자세는 여러 가지 요소가 있습니다. 먼저, 좋은 자세를 유지하는 것이 중요합니다. 좋은 자세란 가슴을 펴고 어깨를 편하게 하는 것입니다. 이때, 허리와 엉덩이는 자연스럽게 구부려야 합니다.

또한, 앉아 있을 때는 발이 평평하게 땅에 닿아야 합니다. 그리고 서 있을 때는 균형을 잡고 있어야 합니다.

다음으로, 운동은 필수적입니다. 매일 30분 정도의 단순한 운동을 하거나 조깅이나 수영 등에 참여하면 좋습니다. 또한, 규칙적인 식사와 충분한 수면도 중요합니다.

마지막으로 스트레스 관리가 필요합니다. 스트레스 관리 방법에는 명상이나 심호흡법 등이 있습니다.

따라서 건강하고 행복한 삶을 살기 위해서는 좋은 자세를 유지하고 규칙적인 생활습관과 운동 등을 통해 건강함과 행복함을 추구해야 합니다.
 
그러나 모든 사람마다 다르므로 개인별로 맞춤형 생활습관과 운동 계획이 필요할 수도 있습니다.
 
또한 의사는 전문가로서 정확하고 최신 정보를 제공할 수 있으므로 의사의 상담도 추천됩니다.
 
궁금하신 점은 언제든지 물어보세요!

**Q. 건강하게 살기 위해서는 균형 잡힌 식단을 유지하고, 규칙적인 운동을 하는 것이 중요합니다. 충분한 수면을 취하고, 스트레스를 관리하는 것도 건강에 큰 영향을 미칩니다. 정기적인 건강 검진을 통해 질병을 조기에 발견하고, 관리하는 것도 중요합니다. 이것을 영어로 번역** <br>
A. 건강하게 살기 위해서는 균형 잡힌 식단을 유지하고, 규칙적인 운동을 하는 것이 중요합니다. 충분한 수면을 취하고, 스트레스를 관리하는 것도 건강에 큰 영향을 미칩니다. 정기적인 건강 검진을 통해 질병을 조기에 발견하고, 관리하는 것도 중요합니다.

영어로 번역하면 다음과 같습니다:

"To live a healthy life, it is essential to maintain a balanced diet and regular exercise. Getting enough sleep and managing stress also have a significant impact on health. Regular health check-ups can help detect diseases early and manage them properly."


**Q. 다음을 영어로 번역해줘: 카드 연체는 금융 거래에 큰 불이익을 초래할 수 있습니다. 연체가 발생하면 신용등급이 크게 하락하게 되며, 이는 이후 대출 신청 시 거절당하거나 불리한 조건을 받는 결과를 초래할 수 있습니다. 또한, 카드사로부터 고금리 대출이나 기타 부채의 제안을 받을 가능성이 높습니다.** <br>
A. 카드 연체는 금융 거래에 큰 불이익을 초래할 수 있습니다. 연체가 발생하면 신용등급이 크게 하락하게 되며, 이는 이후 대출 신청 시 거절당하거나 불리한 조건을 받는 결과를 초래할 수 있습니다. 또한, 카드사로부터 고금리 대출이나 기타 부채의 제안을 받을 가능성이 높습니다.

(원문: Card delinquency can cause significant financial inconvenience. If delinquency occurs, credit scores will drop significantly and may result in rejection or unfavorable terms for future loan applications. Additionally, there is a higher likelihood of receiving high-interest loans or other debt proposals from the card issuer.)

</div>