Update README.md

README.md

@@ -6,15 +6,18 @@ license: llama3
 - datasets  
   -  [jojo0217/korean_safe_conversation](https://huggingface.co/datasets/jojo0217/korean_safe_conversation)
 
-# Query
+# Usage for Transformers 
 ```python
 
 import torch
 from transformers import AutoTokenizer, AutoModelForCausalLM, pipeline
 
-BASE_MODEL = "sh2orc/llama-3-korean-8b"
+BASE_MODEL = "./llama-3-korean-8b"
 
-model = AutoModelForCausalLM.from_pretrained(BASE_MODEL,device_map="auto")
+model = AutoModelForCausalLM.from_pretrained(BASE_MODEL,
+    torch_dtype=torch.bfloat16,
+    attn_implementation="flash_attention_2", 
+    device_map="cuda:0")
 
 tokenizer = AutoTokenizer.from_pretrained(BASE_MODEL)
 tokenizer.pad_token = tokenizer.eos_token
@@ -51,11 +54,68 @@ outputs = pipe(
 )
 
 print(outputs[0]['generated_text'][len(prompt):])
+print(outputs[0]['generated_text'][len(prompt):])
+```
+
+# Result
+<pre>
+
+할부 요금은 물건을 살 때, 그 값을 일정 기간 동안 나눠서 지불하는 방식입니다. 예를 들어, 50만원짜리 제품을 10개월 할부로 구매한다면, 각 달마다 5만원씩 10개월이 동안 지불하게 됩니다. 이때, 할부 요금은 일정 기간 동안 이자 없이 물건을 사용할 수 있는 이점이 있지만, 동시에 연체료가 부과될 수 있으며, 채무가 발생하게 됩니다. 따라서, 할부를 사용할 때는 자신의 재정 상태와 구매할 물건을 잘 고려해야 합니다.
+
+</pre>
+
+
+
+
+# Usage for VLLM
+```python
+from vllm import LLM, SamplingParams
+from transformers import AutoTokenizer, pipeline
+
+BASE_MODEL = "sh2orc/llama-3-korean-8b-awq"
+
+llm = LLM(model=BASE_MODEL)
+
+tokenizer = AutoTokenizer.from_pretrained(BASE_MODEL)
+tokenizer.pad_token = tokenizer.eos_token
+tokenizer.padding_side = 'right'
+
+instruction = '카드 할부 결제에 대해서 알려줘'
+
+messages = [
+    {
+      "role": "system",
+      "content": "당신은 훌륭한 AI 비서입니다. You are a great AI assistant."
+    },
+    {
+      "role": "user",
+      "content": instruction
+    }, 
+]
+
+
+prompt_message = tokenizer.apply_chat_template(
+        messages, 
+        tokenize=False, 
+        add_generation_prompt=True,
+)
+
+eos_token_id = [tokenizer.eos_token_id, tokenizer.convert_tokens_to_ids("<|eot_id|>")]
+
+outputs = llm.generate(prompt_message, SamplingParams(stop_token_ids=eos_token_id, temperature=0.6, top_p=0.8,max_tokens=4096))
+
+for output in outputs:
+    propt = output.prompt
+    generated_text = output.outputs[0].text
+    print(generated_text)
+
 ```
 
+
 # Result
 <pre>
 
-할부 결제란 대출금을 일정 기간 동안 나눠서 상환하는 것입니다. 예를 들어, 100만원을 대출받고 10만원씩 10번 걸쳐서 상환할 수 있습니다. 이때, 첫 번째 상환 시에 10만원을 지불하면 90만원이 남습니다. 그리고 두 번째 상환 시에 10달러를 지불하면 80만원이 남게 됩니다. 이런 식으로 10만원씩면서 10번 더 지불하면 대출금 전액을 지불하게 됩니다.
+카드 할부 결제는 결제할 금액을 일정 기간 동안 나눠서 갚는 방식으로, 카드사에 의해 대출된 금액을 갚는 것입니다. 카드 할부 결제는 일정한 기간 동안 상환할 수 있는 금액을 선택하여 결제할 수 있으며, 이 과정에서 이자를 지불해야 합니다. 카드 할부 결제는 일시불 결제보다 유리할 수 있지만, 이자를 지불해야 하기 때문에 비용이 증가합니다.
 
 </pre>
+