syren-de-mer-3 / train.sh
Master1121's picture
Upload folder using huggingface_hub
177d726 verified
accelerate launch \
--mixed_precision bf16 \
--num_cpu_threads_per_process 1 \
sd-scripts/flux_train_network.py \
--pretrained_model_name_or_path "/app/fluxgym/models/unet/flux1-schnell.safetensors" \
--clip_l "/app/fluxgym/models/clip/clip_l.safetensors" \
--t5xxl "/app/fluxgym/models/clip/t5xxl_fp16.safetensors" \
--ae "/app/fluxgym/models/vae/ae.sft" \
--cache_latents_to_disk \
--save_model_as safetensors \
--sdpa --persistent_data_loader_workers \
--max_data_loader_n_workers 2 \
--seed 42 \
--gradient_checkpointing \
--mixed_precision bf16 \
--save_precision bf16 \
--network_module networks.lora_flux \
--network_dim 4 \
--optimizer_type adamw8bit \
--learning_rate 8e-4 \
--cache_text_encoder_outputs \
--cache_text_encoder_outputs_to_disk \
--fp8_base \
--highvram \
--max_train_epochs 16 \
--save_every_n_epochs 4 \
--dataset_config "/app/fluxgym/outputs/syren-de-mer-3/dataset.toml" \
--output_dir "/app/fluxgym/outputs/syren-de-mer-3" \
--output_name syren-de-mer-3 \
--timestep_sampling shift \
--discrete_flow_shift 3.1582 \
--model_prediction_type raw \
--guidance_scale 1 \
--loss_type l2 \
--alpha_mask \
--apply_t5_attn_mask \
--async_upload \
--bucket_no_upscale \
--cache_info \
--cache_latents \
--console_log_simple \
--cpu_offload_checkpointing \
--ddp_gradient_as_bucket_view \
--ddp_static_graph \
--debiased_estimation_loss \
--debug_dataset \
--deepspeed \
--dim_from_weights \
--enable_bucket \
--enable_wildcard \
--flip_aug \
--fp16_master_weights_and_gradients \
--fp8_base_unet \
--full_bf16 \
--full_fp16 \
--fused_backward_pass \
--log_config \
--masked_loss \
--mem_eff_attn \
--network_train_text_encoder_only \
--network_train_unet_only \
--no_half_vae \
--output_config \
--random_crop \
--sample_at_first \
--save_state \
--save_state_on_train_end \
--save_state_to_huggingface \
--scale_v_pred_loss_like_noise_pred \
--shuffle_caption \
--skip_cache_check