|
accelerate launch \ |
|
--mixed_precision bf16 \ |
|
--num_cpu_threads_per_process 1 \ |
|
sd-scripts/flux_train_network.py \ |
|
--pretrained_model_name_or_path "/app/fluxgym/models/unet/flux1-schnell.safetensors" \ |
|
--clip_l "/app/fluxgym/models/clip/clip_l.safetensors" \ |
|
--t5xxl "/app/fluxgym/models/clip/t5xxl_fp16.safetensors" \ |
|
--ae "/app/fluxgym/models/vae/ae.sft" \ |
|
--cache_latents_to_disk \ |
|
--save_model_as safetensors \ |
|
--sdpa --persistent_data_loader_workers \ |
|
--max_data_loader_n_workers 2 \ |
|
--seed 42 \ |
|
--gradient_checkpointing \ |
|
--mixed_precision bf16 \ |
|
--save_precision bf16 \ |
|
--network_module networks.lora_flux \ |
|
--network_dim 4 \ |
|
--optimizer_type adamw8bit \ |
|
--learning_rate 8e-4 \ |
|
--cache_text_encoder_outputs \ |
|
--cache_text_encoder_outputs_to_disk \ |
|
--fp8_base \ |
|
--highvram \ |
|
--max_train_epochs 16 \ |
|
--save_every_n_epochs 4 \ |
|
--dataset_config "/app/fluxgym/outputs/syren-de-mer-3/dataset.toml" \ |
|
--output_dir "/app/fluxgym/outputs/syren-de-mer-3" \ |
|
--output_name syren-de-mer-3 \ |
|
--timestep_sampling shift \ |
|
--discrete_flow_shift 3.1582 \ |
|
--model_prediction_type raw \ |
|
--guidance_scale 1 \ |
|
--loss_type l2 \ |
|
--alpha_mask \ |
|
--apply_t5_attn_mask \ |
|
--async_upload \ |
|
--bucket_no_upscale \ |
|
--cache_info \ |
|
--cache_latents \ |
|
--console_log_simple \ |
|
--cpu_offload_checkpointing \ |
|
--ddp_gradient_as_bucket_view \ |
|
--ddp_static_graph \ |
|
--debiased_estimation_loss \ |
|
--debug_dataset \ |
|
--deepspeed \ |
|
--dim_from_weights \ |
|
--enable_bucket \ |
|
--enable_wildcard \ |
|
--flip_aug \ |
|
--fp16_master_weights_and_gradients \ |
|
--fp8_base_unet \ |
|
--full_bf16 \ |
|
--full_fp16 \ |
|
--fused_backward_pass \ |
|
--log_config \ |
|
--masked_loss \ |
|
--mem_eff_attn \ |
|
--network_train_text_encoder_only \ |
|
--network_train_unet_only \ |
|
--no_half_vae \ |
|
--output_config \ |
|
--random_crop \ |
|
--sample_at_first \ |
|
--save_state \ |
|
--save_state_on_train_end \ |
|
--save_state_to_huggingface \ |
|
--scale_v_pred_loss_like_noise_pred \ |
|
--shuffle_caption \ |
|
--skip_cache_check |