早年入兰州武备学堂。1895年在家乡组织安宁军。后为甘军董福祥收编，任骑兵管带。1900年夏，奉调驻守京、津一带。八国联军入侵时，曾参加抗击作战，后护卫慈禧，光绪西逃，受清廷赏识，补为甘肃靖远协副将，驻军甘肃、青海。1904年升西于镇总兵兼阿尔泰护军使。辛亥革命后进驻兰州。1912年底被北京政府调任宁夏镇守使。1916年10月加封为陆军上将。从此盘踞宁夏，建立马家军阀统治。1920年春调任绥远都统，宁夏镇守使由其侄马鸿宾继任。1925年1月，任西北边防会办，被迫退出绥远。不久，投冯玉祥麾下，随冯部出兵陕西、河南。1927年旨任南京国民政府军委会委员，开封政治分会委员，北平政治分会委员。1929年蒋、冯开战时，怂恿其子马鸿逵率部投蒋，被南京政府委任为青岛特别市市长。1930年春，出任安徽省政府主席。同年秋，调任蒙藏委员会委员长。1932年病死于河北省琉璃河。