upstage/open-ko-llm-leaderboard · Model "{name}" 's tokenizer cannot be loaded. Is your tokenizer class in a stable transformers release, and correctly configured? 문의드립니다.

Nov 25, 2024

안녕하세요? 리더보드 제출 시 아래와 같은 메세지가 떠서 문의드립니다.
transformers 버전 4.46.3을 사용했을 때 떠서, 4.46.1로 버전을 낮춰도 동일한 에러가 발생하는데 혹시 이유가 뭔지 알 수 있을까요?
Model "모델명" 's tokenizer cannot be loaded. Is your tokenizer class in a stable transformers release, and correctly configured?

config = AutoConfig.from_pretrained("your model name", revision=revision)
model = AutoModel.from_pretrained("your model name", revision=revision)
tokenizer = AutoTokenizer.from_pretrained("your model name", revision=revision)

위 코드로 정상적으로 불러와지는 건 확인했습니다.

감사합니다.

Yebin46

Nov 25, 2024

아 제가 버전 확인을 잘못했습니다ㅠ 죄송합니다.

Yebin46 changed discussion status to closed Nov 25, 2024