{
    "models_root": "./available_models",
    "models": [
        {
            "id": 100,
            "model": "model_0.pt",
            "timeout": 600,
            "on_timeout": "to_cpu",
            "load": true,
            "opt": {
                "gpu": 0,
                "beam_size": 5
            },
            "tokenizer": {
                "type": "sentencepiece",
                "model": "wmtenfr.model"
            }
        },{
            "model": "model_0.light.pt",
            "timeout": -1,
            "on_timeout": "unload",
            "model_root": "../other_models",
            "opt": {
                "batch_size": 1,
                "beam_size": 10
            }
        }
    ]
}