python3 build.py --model_dir ./weights/mistral-7b-instruct/ --remove_input_padding --use_gpt_attention_plugin float16 --enable_context_fmha --use_gemm_plugin float16 --output_dir ./mistral_engines/fp16/instruct-1-gpu-12k --max_batch_size 32 --use_inflight_batching --max_input_len 12000 --max_output_len 2000 --paged_kv_cache --world_size 1 --tp_size 1
{}
transformers endpoints_compatible region:us