Ma lahir di desa Hanchiachi, di Linxia County, Gansu. Dia adalah putra Ma Fulu yang meninggal pada tahun 1900 saat bertempur melawan orang asing dalam Pertempuran Peking (1900)
dalam Pemberontakan Boxer. Sebagai keponakan Ma Fuxiang, dia mengikuti dia dan kemudian Feng Yuxiang ke dalam tentara. Dia dan Ma Fuxiang melindungi misi Katolik di Sandaohe dari serangan oleh Gelaohui, dan ia menerima Order of Leopold (Belgia) ("dekorasi Raja Leopold") Selama pemberontakan di Gansu dalam Perang Dataran Tengah, Jenderal Muslim Ma Tingxiang diserang oleh Ma Hongbin yang bertugas di administrasi Feng di Ningxia.