生于元世祖至元十六年，卒于元惠宗至元四年，年六十岁。（元诗选小传云：至正四年卒。此从元史本传）。其祖宗系雍古部（蒙古汪古都部，今内蒙集宁附近）人，先世为雍古部贵族，聂思脱里派（基督教中国景教派）信徒。高祖锡里吉思是金代凤翔兵马判官，为国捐躯，死后封恒州刺史，子孙按照以官为姓的惯例改姓马。曾祖月合乃，随从元世祖忽必烈攻宋，留居开封，累官礼部尚书。父润，同知漳州总管府事，移居光州，任光州监军。
马祖常，在7岁时，就知道求学，得到点钱就用来买书。10岁时，烛火引起失火，引燃房屋，但他不慌乱，频频取水灭火。大伙议论纷纷，都认为不一般。长大后，他笃实求学，由蜀中儒学家张摐传授学业，他常提出不少质疑，很受老师器重。元仁宗延祐初年，刚恢复科举，他在乡、会两次考试时，皆中第一。廷试为第二，授应奉翰林文字，拜监察御史，官职做到御史中丞官。与袁桷、王士熙等互相切磋文字，相交甚密。
是时，仁宗在位已久，独居东宫常饮酒过度，不理朝政。马祖常上书奏请元仁宗：“以天地祖宗为重，御正衙、立朝仪，御史执简，太史执笔”提出十五件事，一一说明，屡屡建议。不久，成为皇太子慎简的师傅。又上奏，弹劾丞相铁木迭儿十大罪状，元仁宗震怒，一下撤掉他的宰相官位。后来，又上奏，说泰州地动山摇是由于“在野有当用不用之贤，在官有当言不言之佞”。指出贤才人士皆家居等。又因奏疏而降罪。多次因弹劾、举荐获罪，可知马祖常“荐贤拔滞，知无不言”。不久改任宣政院经历，一月有余，辞职归乡。而后，又起用为社稷署令，改任开平县尹。由于奸臣当道，马祖常退隐潜居光州。奸臣死，马祖常又任翰林待制。泰定年间，立太子，马祖常担任典宝少监、太子左赞善官职，不久，任礼部尚书兼翰林直学士，因老人去世，在家中守丧数年，复出做官，再任礼部尚书、右赞善，不久又辞官归乡。
天历元年（1328)，马祖常入礼部任职，两次知贡举，一次读卷官，当时人称马祖常选拔得当，为国家挑选出大量人才。后升为参议中书省事、南台中丞。元统初年，马祖常拜治书侍御史中丞、经历枢密副使。马祖常辞官归光州。后又派遣他出任江南、陕西行台中丞，马祖常以有病在身推辞，没有前往。至元四年三月，马祖常去世，年60岁，官至礼部尚书、枢密副使。赠摅忠宣宪协正功臣、河南行省右丞、上护军、魏郡公，谥号文贞。祖常初娶常州录事判官之女索氏，又娶河南镇守千户和尚之女怯烈氏。子二人，任行省检校官及秘书监著作郎等职。