早年时期
徐乾学出生于明崇祯四年（1631年）十一月二日（11月24日），自幼聪明，8岁能文。顺治七年（1650）与吴伟业、尤侗、朱彝尊等在嘉兴组织十郡大社。
顺治十一年（1654年）徐乾学进入太学。康熙九年（1670）徐乾学参加殿试，御赐一甲第三名进士及第，授翰林院编修。
徐乾学是顺治十六年（1659年）状元徐元文、康熙十二年（1673年）探花徐秉义的大哥。人们称徐氏三兄弟为“昆山三徐”。明末清初学者顾炎武是他们的舅父，三兄弟都曾得到顾炎武的捐助。
仕宦著学
康熙十一年（1672年），徐乾学作为副考官，与蔡启観一起典考顺天府乡试。他从已被放弃的试卷中挑出了韩菼，可以说慧眼识才，最终韩菼夺魁，成为状元。而由于他的此举，使文体发生了古朴而清新文雅的变化。后来，由于副榜遗漏汉军卷未取，遭给事中杨雍建弹劾，徐乾学、蔡启観二考官被降一级调用。
康熙十四年（1675年），徐乾学捐复原官，后升为左春坊左赞善，充任日讲起居注官。不久，他的父母先后去世，丁忧回老家。
康熙十五年（1676年），徐乾学在别人帮助下，开始编纂一部关于丧礼的重要著作《读礼通考》，计一百二十卷，他博采诸家之说，剖析义理十分透彻。后来经多次校订，在他去世两年后，由他的儿子开始刊行。应当指出，用于编纂此书的某些资料，乃抄袭万斯同。
康熙十九年（1680年），他为纳兰性德搜集唐、宋、元、明学者的解经之书，纂辑成《通志堂九经解》一千七百九十五卷。
康熙二十一年（1682年），徐乾学被任命为《明史》总裁官。
康熙二十二年（1683年），为翰林院侍讲。后来徐乾学升为侍讲学士。
康熙二十三年（1684年），徐乾学的儿子徐树屏、侄子徐树声等都考中顺天乡试。康熙帝一看所中大都是江南浙江籍，在来自南方的应试者中，居然有文理悖谬，文体不正的也中了举，康熙帝命令再勘察考卷。结果将原来典考的官员革职严办，徐家两名子弟也双双落第。年底，徐乾学迁任詹事府詹事。
康熙二十四年（1685年），大考翰林詹事于保和殿，徐乾学列为一等，徐乾学和韩菼、孙岳颁、归允肃等获皇帝褒奖赏赐，随即升徐乾学为内阁学士、在南书房值班。徐乾学出任《大清会典》、《一统志》副总裁，教习庶吉士，为庶吉士编纂一部《教习堂条约》，此书后来收入《学海类编》。同年，由他主持诠释康熙帝钦定的《古文渊鉴》脱稿，全书六十四卷。这一年，户部郎中色楞额疏请禁用明代旧钱，户部尚书官科尔坤、全国柱等随声附和。徐乾学上奏，认为新、旧钱应兼行并用。指出如果设立严禁旧例，恐怕会无端产生麻烦和骚扰。最后，康熙帝采纳了他的意见。
康熙二十五年（1686年），徐乾学授任礼部侍郎，充经筵讲官。次年，升左都御史，并兼任《一统志》编纂局总裁。与明珠亲信佛伦、余国柱结怨。后来徐乾学又与索额图、熊赐履勾结，反击明珠。徐乾学利用其门生郭琇弹劾明珠，明珠、余国柱遂罢相。李光地说徐乾学“谲诡奸诈”。当时的民谣说：“九天供赋归东海（徐乾学），万国金珠献澹人（高士奇）。”
同年，擢升刑部尚书。任上，他整肃台纲，劾罢甘肃、山东两总兵。康熙二十七年（1688年），徐乾学任会试主考官。
乞归被劾
康熙二十七年（1688年），湖广巡抚张汧爆发贪污案，张汧被逮捕问罪时，供出曾向徐乾学行贿，并涉及高士奇和陈廷敬。后为康熙所庇，事遂不了了之。后又被许三礼劾“既无好事业，焉有好文章，应逐出史馆，以示远奸”，徐乾学上疏请“放归田里”，五月，康熙准徐乾学罢官，携书局即家编辑，随行有阎若璩、顾祖禹、胡渭与黄虞稷，致力于《大清一统志》编修，又仿司马光《资治通鉴》体例，与万斯同、阎若璩、胡渭等排比正史、参考诸书，纂成《资治通鉴后编》—百八十四卷。
康熙三十年（1691年），徐乾学因曾写信给前任山东巡抚钱钰，包庇朱敦厚，事发后，徐乾学、钱钰均遭到革职。其子徐树敏亦被举发私收馈金。
康熙三十年（1691年）江南江西总督傅拉塔（《清史稿》作傅腊塔，明珠的外甥）弹劾徐乾学及其弟徐元文不法之事“招摇纳贿，争利害民”共十五款，闰七月二七日徐元文“惊悸呕血而死”。自康熙二十九年（1690年）至三十一年（1692年）间，徐乾学一家被控不法事有二十多起。
康熙三十三年（1694年），康熙下谕大学士推举文章学问超卓的人上来，王熙、张玉书等举荐了徐乾学与王鸿绪、高士奇，康熙帝命他们来京修书。徐乾学在之前已经逝世，遗疏将自己编著的《一统志》进与康熙帝，康熙帝下诏恢复他之前的官职。