HPARAMS="
  --micro-batch-size 16
  --global-batch-size 2048
  --train-iters 19760
  --eval-iters 10
  --eval-interval 1000
  --save-interval 1000
  --log-interval 1
  --lr 5e-3
  --min-lr 5e-3
  --lr-decay-style constant
  --lr-warmup-iters 10
"