|
--- |
|
license: mit |
|
language: |
|
- ko |
|
- en |
|
base_model: |
|
- beomi/Llama-3-Open-Ko-8B-Instruct-preview |
|
pipeline_tag: text-generation |
|
library_name: adapter-transformers |
|
tags: |
|
- law |
|
--- |
|
|
|
``` python |
|
import torch |
|
import huggingface_hub |
|
from transformers import AutoTokenizer, AutoModelForCausalLM |
|
|
|
model_id = 'yainage90/Llama3-open-Ko-3-8B-Law-Chat-Full-Weights' |
|
|
|
tokenizer = AutoTokenizer.from_pretrained(model_id) |
|
model = AutoModelForCausalLM.from_pretrained( |
|
model_id, |
|
torch_dtype="auto", |
|
device_map="auto", |
|
) |
|
|
|
model.eval() |
|
|
|
question = ''' |
|
μ μ λ§μλ€κ° μν
μ΄λΈμμ λ¨Όμ μλΉλ₯Ό κ±Έμκ³ μ¬νκ² μΈμ°μ§ μμμ΅λλ€ |
|
μλ‘ μΈμ±μ΄ λμμ§λ€κ° μ κ° μ κΉμ νκ° λμ νλ₯Ό μ°Έμ§ λͺ»νκ³ μλμ μ΄κΉ¨μͺ½ νλΆλΆμ κ½ μ‘μμ΅λλ€ |
|
λΉμ°ν λ λ€μΉκ±°λ μν΄μ
μ λΆλΆμ μλλ° μ κ° λ³ΈμΈ λͺΈμ μμ λλ€λ μ΄μ λ‘ ννμ£λ‘ μ κ³ λ₯Ό νκ³ κ²½μ°° μ‘°μ¬λ₯Ό λ°μμ΅λλ€ |
|
μλκ° ν©μ μμ¬κ° μμ κ²½μ° λ²κΈμ μ΄λμ λ λμ¬κΉμ?? |
|
''' |
|
|
|
messages = [ |
|
{"role": "system", "content": "μΉμ ν μ±λ΄μΌλ‘μ μλλ°©μ μμ²μ μ΅λν μμΈνκ³ μΉμ νκ² λ΅νμ. λͺ¨λ λλ΅μ νκ΅μ΄(Korean)μΌλ‘ λλ΅ν΄μ€."}, |
|
{"role": "user", "content": question}, |
|
] |
|
|
|
input_ids = tokenizer.apply_chat_template( |
|
messages, |
|
add_generation_prompt=True, |
|
return_tensors="pt" |
|
).to(model.device) |
|
|
|
terminators = [ |
|
tokenizer.eos_token_id, |
|
tokenizer.convert_tokens_to_ids("<|eot_id|>") |
|
] |
|
|
|
with torch.no_grad(): |
|
outputs = model.generate( |
|
input_ids, |
|
max_new_tokens=1024, |
|
eos_token_id=terminators, |
|
do_sample=True, |
|
temperature=0.9, |
|
top_p=0.9, |
|
) |
|
|
|
response = outputs[0][input_ids.shape[-1]:] |
|
print(tokenizer.decode(response, skip_special_tokens=True)) |
|
``` |
|
|
|
``` text |
|
μλλ°©μ΄ μ²λ²μ μνμ§ μλλ€λ μμ¬νμλ₯Ό νλ©΄ μ²λ²λ°μ§ μμ μλ μμ΅λλ€. κ·Έλ¬λ λ§μ½ μλλ°©μ΄ μ²λ²μ μνλ€λ©΄ 100λ§μ μ΄μμ λ²κΈνμ΄ μμλ©λλ€. |
|
λ²κΈνμ λ°κ² λλ©΄ 100λ§μ μ΄μμ κΈμ μ μν΄μ ν¨κ», λ²μ£κ²½λ ₯μ‘°νμμ μ κ³ΌκΈ°λ‘μ΄ λ¨κ² λ©λλ€. μ΄ ν, κ²½μ°°, κ²μ°°, λ²μμ ν΅λ³΄λ₯Ό λ°κ² λλ©°, 곡무μ, κ΅μ, 곡기μ
μ·¨μ
λ±μ΄ μ νλ μ μμ΅λλ€. |
|
λ°λΌμ μλλ°©κ³Όμ μλ§ν ν©μλ₯Ό ν΅ν΄ ννμ£λ₯Ό μΈμ νμ§ μκ³ λ¬΄νμλ‘ μ¬κ±΄μ μ’
κ²°μ§λ κ²μ΄ μ΅μ μ λ°©λ²μ
λλ€. κ²½μ°°μ‘°μ¬ λΉμ μλλ°©μκ² μ°λ½μ²λ μ°λ½ν μ μλ λ°©λ²μ λ¬Όμ΄λ³΄μκ³ , νμμ λ³νΈμ¬λ₯Ό ν΅ν μ€μ¬λ ν©μλ₯Ό μ§ννμκΈ° λ°λλλ€. </μ§λ¬Έμλμ λκΈμ΄ μμ±λ κ³³μ λκΈλ‘ λμ λμ
¨μΌλ©΄ ν©λλ€. </inish |
|
``` |