仕途履历
潘祖荫生长于北京，祖籍吴县。他的祖父为乾隆癸丑科状元潘世恩，官至太傅、武英殿大学士。他的父亲潘曾绶，字绂庭，官至内阁侍读。他的叔祖是乾隆乙卯科探花潘世璜。
道光二十八年（1848年），恰值潘世恩80大寿，道光皇帝恩赏潘祖荫为举人。咸丰二年（1852年），考中一甲第三名（探花），授翰林院编修。咸丰四年（1854年），历任国史馆协修、候补侍读、实录馆纂修。咸丰六年（1856年），历任功臣馆纂修、会试同考官、侍读、咸安宫总裁、南书房行走、文渊阁校理，因捐备军饷赏戴花翎。咸丰七年（1857年），历任日讲起居注官、侍讲学士。咸丰八年（1858年），英法联军入侵天津，上书请战，历任陕甘乡试正考官、国子监祭酒、侍读学士。
咸丰九年（1859年），升任大理寺少卿。咸丰十年（1860），时任骆秉章幕僚的左宗棠被弹劾，他上疏密保左宗棠，说他人才出众，此案才平息下来。左宗棠被释疑保举曾国藩襄理军务。又呈上四川军务宜筹防剿之奏折、陈“救时八策”并《团练章程》十二条、上疏直谏驾幸木兰等奏折。
咸丰十一年，潘祖荫署宗人府丞。上疏议郊配大礼，请皇帝按圣制永垂法守。咸丰十一年，皇帝下诏，求直言进谏。潘祖荫应诏陈言数条：第一、勤圣学。首先选典学施教，选有德贤臣开展日讲旧制。斟酌变通康熙帝时的旧制，在翰林中选择数名作为顾问，可以养成圣德、正本清源。第二、求人才。保国之道首先在于得人才，多事之秋，更要讲究用人。不要墨守成规，有才干又有学识的要破格录用。一定要广开言路，不受虚名，务求实效。第三、整军务。军法不明，军务松弛。将士窝里斗、看笑话，各霸占自己的范围，常常坐失良机。应该仿嘉庆年间设经略来节制各省。凡是临阵脱逃、城池失陷的立即按律处治。第四、裕仓储。国家根本以粮足为先。而今仓储空，京郊不能自足。要抓紧采买。在天津设收米局。钱不够用，可开设米捐。第五、通钱法。咸丰四年改用大钱，钱法更加破坏。官号、奸商浮开虚票，又改用私票。存钱数当不上使用钱数，钱不值用，祸国殃民。官府要严加管理，逐渐全用制钱，平抑物价，钱法就可以修正了。
励精图治
潘祖荫又陈述了四件时务：免各省钱粮，以缓和民间饥困；淘汰零碎杂捐，以保护民力；严肃行军纪律，以拯救百姓生活和扩大乡、会试中榜名额，以笼络文人的心。这些都充分展示了潘祖荫的主张。这一年，他上奏弹劾了江北收捐税、坑害百姓的候补盐运使金安清。撤了金安清的职。又以只谋权而不办事请求撤消各省设立的团练大臣，节省无用开支。咸丰帝批准他所奏请的条陈，并且推行下去。
咸丰十二年，他出任顺天乡试副考官，官任户部侍郎。直到同治年间，潘祖荫先后弹劾不少不称职的官员。文官有：钦差胜保、直隶总督文煜，以及陕西巡抚、布政使、甘肃布政使、道员等。武职有：提督孔广顺、总兵阎丕叙、副将等等。因此，潘祖荫“直声震朝端”。
同治元年，潘祖荫充任光禄寺卿，兼都察院左副都御史。潘祖荫奉旨将历代帝王政绩、史迹择其可借鉴的作简明注释，和其他几位官员共同汇集成册。御赐书名《治平宝鉴》，这是一部有关前朝善政的范例。由于捻军兴起，他奏请在徐州这个四省交界处添设重镇、组织团练，这样既省军饷又可扼制捻军。这一年，潘祖荫以光禄寺卿出任山东乡试主考官。
同治二年，任宗人府丞。疏请减江苏赋额，苏、松、太等获旨准减三分之一税额。同治三年，潘祖荫在会议何桂清罪过时未列衔，由于上述原因，受牵连，遭部议受贬。后起用，补都察院左副御史、署理工部右侍郎兼管钱法堂事务。同治四年，恭亲王被劾获谴。潘祖荫提出虽然恭亲王咎固难辞，而功劳足纪，而且重臣进退关系安危。希望给恭亲王悔过机会，也不至于使朝纲大乱，后世迷惑。而后，潘祖荫任礼部右侍郎。同治五年，他任刑部右侍郎、左侍郎，补工部侍郎兼管钱法堂事务。
同治六年，授潘祖荫工部右侍郎，潘祖荫奉命赴盛京（今沈阳）察看皇陵建筑。同治七年，潘祖荫署理吏部左侍郎、户部右侍郎。他进呈《篆书说文》、《艺文备览》各四函。同治帝为潘祖荫赐名文绮。任经筵讲官。同治八年，潘祖荫转左侍郎兼管三库事务。同治九年，潘祖荫署吏部右侍郎，因捐备军饷，赏正一品衔。同治十年，潘祖荫任会试知贡举，武举会试副考官。次年，赏头品顶戴。同治十二年，因随御驾谒东陵，潘祖荫丢失户部行印而革职留任。他任顺天乡试副考官，因中举的徐景春文理荒谬，而他有偏袒之嫌，被革任降二级调用。同治十三年，特旨赏潘祖荫翰林院编修、南书房行走。而后，潘祖荫报效银两，复职留任。因为进赋册为慈禧太后祝寿，得以候补侍郎。
光绪元年后，潘祖荫授任大理寺卿。次年，授任礼部右侍郎。光绪四年，潘祖荫调户部。光绪五年，工部右侍郎，又调刑部。出任玉牒馆总裁，户部右侍郎兼管钱法堂、三库事务。潘祖荫历任户部左侍郎，都察院左都御史，工部尚书，太子少保，刑部尚书等职。此间，曾奉命集议主事吴可读死谏为同治帝立嗣一案，并申明议不建储。光绪六年，潘祖荫任国史馆总裁。参预解决中俄新疆纠纷，与俄国交涉定约后，提出条陈，上奏善后五事：练兵、简器、开矿、造船、筹饷。光绪八年，潘祖荫任礼部尚书、军机大臣上行走，兵部尚书，江西学政。光绪九年，丁父忧。
潘祖荫后半生在京，身居朝中高位。提携了许多对国家有用的干才，这些人后来成为著名人物，左宗棠就是其中的一个。宝坻士绅集资为潘祖荫立祠，由地方官春秋致祭，皇帝下诏同意。潘祖荫的墓在江苏吴县东跨塘桥东南茭白荡（今木渎）。据说，光绪初叶，潘祖荫主持刑部，有司员听说潘祖荫好文雅，想巴结一下，忙写诗数十首，恭楷录在正堂上，见面时，作揖呈上。潘祖荫当时翻阅，一见首篇题为《跟二太爷阿妈逛庙》八字，不禁狂笑，冠帽上的缨子几乎掉下来。那个巴结的司员面无人色，忙倒退而去。