kimdwan/polyglot-ko-1.3b-Logan

안녕하세요 문장생성 모델입니다. 데이터는 ai hub에 일반 전문분야 데이터로 학습하였습니다. ^^

!pip install transformers
!pip install sentence_transformers 

from transformers import AutoTokenizer,GPTNeoXForCausalLM

path = "kimdwan/polyglot-ko-1.3b-Logan"
model = GPTNeoXForCausalLM.from_pretrained(path)
tokenizer = AutoTokenizer.from_pretrained(path)

# 넣고 싶은 단어등을 넣어주면 자동으로 문장을 생성해주나 20토큰 안에서 가능합니다. 
text = "인공"
token = tokenizer(text,return_tensors='pt')
model.eval()
model = model.to("cpu")
output = model.generate(input_ids = token["input_ids"])

tokenizer.decode(output[0])