Llama-Gemma-2-27b-ORPO-iter3

概要

google/gemma-2-27bを教師あり学習と2回のCPO_SimPOによりInstruction TuningしたモデルであるAratako/Llama-Gemma-2-27b-CPO_SimPO-iter2に対して、 ORPOを適用したモデルです。

松尾研大規模言語モデル講座2024のコンペ用の提出モデル作成の一環として作成・公開しています。

This model is built with Llama and Qwen.

使用データセット

ライセンス

本モデルは学習に利用したデータの関係で以下のライセンスの影響を受けます。

学習に関する詳細

本モデルの学習にはaxolotlを使いました。パラメータ等の学習の設定は下記の設定ファイルをご確認ください。

Built with Axolotl

See axolotl config

axolotl version: 0.5.2

base_model: Aratako/Llama-Gemma-2-27b-CPO_SimPO-iter2
model_type: AutoModelForCausalLM
tokenizer_type: AutoTokenizer

hub_model_id: Aratako/fft-orpo-iterative-iter3
hub_strategy: "end"
push_dataset_to_hub:
hf_use_auth_token: true

plugins:
  - axolotl.integrations.liger.LigerPlugin
liger_cross_entropy: false
liger_rope: true
liger_rms_norm: true
liger_swiglu: true
liger_fused_linear_cross_entropy: true

load_in_8bit: false
load_in_4bit: false
strict: false

chat_template: tokenizer_default
rl: orpo
orpo_alpha: 0.1
max_prompt_len: 512
max_length: 2560


datasets:
  - path: Aratako/iterative-dpo-data-for-ORPO-iter3
    type: chat_template.argilla
    train_on_split: train


shuffle_merged_datasets: true
dataset_prepared_path: /workspace/data/fft-orpo-iterative-iter3-data
output_dir: /workspace/data/27b-fft-orpo-iterative-iter3

sequence_len: 2560
sample_packing: false
eval_sample_packing: false
pad_to_sequence_len: true

adapter:
lora_model_dir:
lora_r:
lora_alpha:
lora_dropout:
lora_target_linear:
lora_fan_in_fan_out:

wandb_project: 27b-fft
wandb_entity: aratako-lm
wandb_watch:
wandb_name: orpo-iter3
wandb_log_model:

gradient_accumulation_steps: 16
micro_batch_size: 1
num_epochs: 1
optimizer: paged_adamw_8bit
lr_scheduler: cosine
cosine_min_lr_ratio: 0.1
learning_rate: 8e-7

train_on_inputs: false
group_by_length: false
bf16: auto
fp16:
tf32: false

gradient_checkpointing: true
early_stopping_patience:
auto_resume_from_checkpoints: true
local_rank:
logging_steps: 1
xformers_attention:
flash_attention: true

save_strategy: steps
save_steps: 100
save_total_limit: 1

warmup_steps: 20
eval_steps:
eval_batch_size:
eval_table_size:
eval_max_new_tokens:
debug:
deepspeed: /workspace/axolotl/deepspeed_configs/zero3_bf16.json
weight_decay: 0.01
fsdp:
fsdp_config:
special_tokens:
  pad_token: <pad>

Downloads last month
19
Safetensors
Model size
27.2B params
Tensor type
BF16
·
Inference Examples
This model does not have enough activity to be deployed to Inference API (serverless) yet. Increase its social visibility and check back later, or deploy to Inference Endpoints (dedicated) instead.

Model tree for Aratako/Llama-Gemma-2-27b-ORPO-iter3