ioue/llm-jp-3-13b-finetune-kazieman

このmodelは?

このllm-jp-3-13b-finetune-kaziemanはllm.jpの13BのモデルをLoRAを使ってFine Tuningしたモデルになります。 FT時のパラメータは以下で、サンプル提供のものから変更はありません（書式だけ変更)

peft_config = LoraConfig(
    r=16,
    lora_alpha=32,
    lora_dropout=0.05,
    bias="none",
    task_type="CAUSAL_LM",
    target_modules=modules,
)
sftconfig = SFTConfig (
    max_seq_length=512,
    dataset_text_field="formatted_text",    
    packing= False,
    output_dir=new_model_id,
    per_device_train_batch_size=1,
    gradient_accumulation_steps=2,
    optim="paged_adamw_32bit",
    num_train_epochs=1,
    logging_strategy="steps",
    logging_steps=10,
    warmup_steps=10,
    save_steps=100,
    save_total_limit = 2,
    max_steps = -1,
    learning_rate=5e-5,
    fp16=False,
    bf16=False,
    seed = 3407,
    group_by_length=True,
    report_to="none"
)
trainer = SFTTrainer(
    model=model,
    train_dataset=dataset["train"],
    peft_config=peft_config,
    tokenizer=tokenizer,
    args=sftconfig,
)

出力は?

ベンチマークはELYZA-Tasks-100-TVを用いています。Q&A形式になりますが、この推論時においてはChain of Thoughts(CoT)のような、プロンプティングを行っています。具体的には与えられるinput(=質問)の手前には以下のようなpromptを置いています。

以下の質問について、段階的に考えながら最終的な結論を出してください。途中経過を一つ一つ説明し、すべてのステップを明確に記述してください。\n質問 : \n

また、出力 token サイズを 500 にしています。　(max_new_tokens = 500)

以上のようにして得られた出力が提出物になります。