史浩生于宋徽宗崇宁五年（1106年），他的祖上史惟则从慈溪迁鄞即落户此地，直至曾孙史诏，四代都不曾迁居。徽宗时，史诏推辞辟命，获徽宗赐号“八行高士”。
史浩从少好读书，曾求学到桃源书院，并结识了汪思温、郑覃、魏杞、袁燮等人。桃源书院是庆历五学士之一王致所创办，史浩曾祖父史冀当年曾从王致学。书院在横街桃源乡。
少年史浩继承家风，克尽孝道。他对弟弟更是疼爱有加，一次史浩和弟弟乘坐牛车玩耍，正当两人玩得十分高兴时，拉车的牛却不知为什么忽然发狂起来，又跑又跳地往前奔，整台牛车完全控制不住了。他的弟弟吓得哭了起来，史浩自己虽然也很害怕，但还是赶紧一边控制牛绳，一边安慰弟弟，眼看牛车快要撕散，兄弟俩害怕得不知该如何是好，在一边的路人也都替兄弟俩着急，这一情景让几位壮汉看见了，他们即义勇相助、挺身而出，一起来追逐发狂的牛，费了好大功夫终于追上牛车。史浩见有人来相救，就不顾自己的生命危险，大声地说，快救弟弟，快救弟弟。于是几位壮汉赶紧将史浩的弟弟救下车。救完弟弟后，眼看牛车就要被发狂的牛拖得四分五裂，在这千钧一发之际，大家赶紧再跑向前，最终将史浩也救下了车。事后，大家都赞美史浩，在最危急时，尽管自己已经被吓得泪流满面，仍第一顾及弟弟的安全，这份手足之情是难得可贵的。此事一直被邻里传为美谈。
宣和六年，史浩的父亲师仲逝世，当时史浩才十九岁。师仲临终告诉他，作为长子长孙要承担起孝顺祖父的责任。以后数年，史浩一直陪伴在祖父史诏身边。建炎四年，金人攻陷明州，史浩不得不扶着祖父史诏逃难，一路上他不怕自已受屈辱，使一家人避于海，免于难。然而七十四岁的祖父史诏，终因经受不起战火的惊吓和奔波的劳累，回到家不久就去世了，史浩为之守孝三年，因为财物尽为金人所掠，所以当时家境日处贫困，但史浩却谢绝了叔父的接济。家庭中长子长孙的角色和生活中的种种磨难，养成了史浩有事能忍，处事多思的性格，使他年少老成。
为了随母亲的心愿，史浩携母亲洪氏投靠天童街亲友钱氏。青年史浩就隐居鄮峰读书，自号真隐居士，这儿距离天童寺、育王寺很近，史浩就常陪母亲到天童、育王进香，“迸云佛塔金千寻，傍耸滴翠玲珑岑。春供万象当远目，响答两地纷鸣禽。风摇野帻去复去，雨浥乳窦深复深。寄声俊逸鲍夫子，莲社不挂渊明心。”这是他在《天童育王道中》的诗。
当时在天童寺任主持的是宏智正觉禅师，他自建炎三年来天童寺，倡导“默照禅”，弘扬曹洞宗风，并建禅堂，扩大山门，筑宝阁，奉千佛，使天童禅寺得以中兴，遂成了当时的一个禅学中心，宏智正觉也被人称为“天童和尚”。史浩偶尔也陪母亲去听说法。正觉说法有两个特点，一是以圆相为禅机，藉以开悟听众，作为禅机，是一种无可表示的表示，旨在获得听众的心灵默契，但是也要求说法者有颖慧之心。二是文采丰富，常常出口就是诗句，如“风月寒清过渡头，夜船拨转琉璃地，冻鸡未报家林晓，隐隐行人过雪山。”语句中往往清空灵动，既富有禅家的理趣，也能传达出超远的意境。史浩深受感染，这对学诗自然也很有启发。
当然，这也是时代的造就，当时文人解释诗，常觉得很多传统话语都未免显得方枘圆凿，于是极需要一套新的话语，来填补传统话语的不足，这样，大量的禅宗术语就被引进到诗中来，士大夫们在做诗中不断渗入佛教的思想资源、语言材料及表达方式，他们“以禅喻诗”，都是受参禅启示的，于是禅悦之风一时盛行。
史浩就这样不知不觉地接受了正觉的默照禅。正觉在《默照铭》说：“默默忘言，昭昭现前。鉴时廓尔，体处灵然。”又在《坐禅箴》说：“不触事而知，不对缘而照。”显然正觉主张闭目合眼，沉思冥想，在寂然静坐中进入一种无思虑的直觉状态，这就是所谓的禅的状态。而正在努力学诗的史浩就把古人的诗思和正觉的禅思相沟通，以为学诗也必须进入清心虚静的默照状态，才能心如镜鉴，反映万象。他在《赠天童英书记》诗云：“学禅见性本，学诗事之馀。二者若异致，其归岂殊途？方其空洞间，寂默一念无。感物赋万象，如镜悬太虚。不将亦不迎，其应常如如。向非悟本性，未免声律拘。”这里说的“寂默”，明显是受了正觉禅师“默照禅”的影响。
随着史浩对默照禅的接纳，他与正觉来往也密切了，并且对正觉十分敬重。绍兴十年，史浩居下水，便约正觉游东湖，并题《东湖游山》：“金襴禅老今大颠，坏衲蒲团日坐禅。我行不问西来意，消息还将方寸传。”“日坐禅”的“禅老”就指正觉禅师。不仅是正觉禅师，天童山的很多禅师他都引以为友，史浩在《次韵鲍以道天童育王道中吴体》中有句说：“奇声俊逸鲍夫子，莲社不挂渊明心。”特别是他的《赠天童英书记》一诗后半首中：“英师个中人，以诗隐浮图。桃红柳青青，翠竹黄花俱。……堂堂老阿师，道价东西徂。住山垂一世，学子纷云趋。寒潭风静练，皎月天心孤。迩来只履轻，片雪销洪炉。……顾我坐学省，兀兀如守株。因君听篷雨，为谢故溪鱼。”那个英书记，是正觉的弟子，他是禅林中专管书写的僧人，也是史浩的朋友。诗中“老阿师”就是正觉。
绍兴十一年，史浩过钱湖韩岭，即歌道：“四明山水天下异，东湖景物尤佳致，中有村墟号韩岭，渔歌樵斧声相参。” 这一年史浩三十五岁，住在下水，有《下水庵晓望偶题》：“疏树梢头露晓星，薄寒侵榻睡初醒，沙鸥何处惊飞起，点破遥山一抹青。”他不但诗文俱佳，而且显得更成熟稳重了。
绍兴十四年，正值其母六十岁生日，因为家里贫穷，史浩便到天童街亲友处借来坊钱为母亲祝寿，出于对母亲的一片孝心，史浩安排礼节十分隆重，却因此欠下了一笔数目不少的债。坊钱本属浙江常平司，到秋天，因为还不了坊钱的本金利息，史浩十分苦恼，不得不暂避绍兴，住在一个姓汤的卖饼婆家里，这时一年一度乡试快要到来，史浩不能回到家里来，因而郁郁怅望。卖饼婆问他说：“秀才为何惧怕官府？”史浩就将事情的经过说给卖饼婆听了，第二天，卖饼婆将儿子们召集在一起商量说：“我已积了一千钱，准备作后事用，现在想全部借给秀才用于还坊钱本金利息，好让他一心去应试，一旦乡试结束，秀才会马上来还的，你们不要担心。”史浩这才回到明州，报名参加了乡试，果然金榜题名，登刘章榜进士前十名，史浩信守承诺，马上将钱如数归还给卖饼婆。那年史浩三十九岁。
史浩中举后，调余姚任县尉，当时地方上盗贼出没无常，偷窃民舍，民怨心载道。史浩就设计将为首的九人捉拿案归。史浩立了功，却不说是自己的功劳，对此县令十分奇怪，史浩却说捕贼是我作县尉的本职，这九个人应该处分惩办，如果让我一个人领赏，实在于心难安。县令甚为赞叹。
第二年三月十五，史浩和鄱阳程休甫一起游普陀，他们一早到达潮音洞，洞内很冷清，没有什么可看的，史浩便炷香供茶，只见盏浮花瑞。两人回寺吃饭后，又来到洞门，俯伏苔磴，凝睇嵚空，所见乱石累累，兴尽后正想返回，却有一僧人过来指着说：岩顶有一空，可以从哪儿往下看到奇景。史浩便攀缘而上，瞻顾之际，忽现大士瑞相，金色照耀，眉目了然，两人同时看到了，而史浩还看到大士的双齿洁白如玉，心情十分愉快，就在壁上题词。当天夜里有一僧人来访说，公当为太师，比文潞公，但官家用兵，须切谏，二十年后，将与公会于绍兴。后史浩知绍兴，果来一个道人自称与史浩有旧，守卫拒不接纳。他便索笔写了：黑头潞相，重添万里风光，碧眼胡僧，曾共一宵清话。遂去。史浩读了，便回忆起当年普陀的事，知道长者僧及道人都是大士示现相，就马上去追赶，但来不及了。
余姚任满后，史浩到临安待命，秦桧曾想笼络他，派给事中林一飞致意右谏议大夫史才说：“已留国子监书库官拟令矣。”史浩对叔父说：“秦桧这人似乎很难与他同处，况且我省试在前十名，按规定现在应当受教官，可不安分吗！”
不久史浩出任温州教授，当时郡守是张九成，他是绍兴二年高宗自亲提名的状元，高宗对他很器重。张九成在朝也恪尽职守，并平反了一些诬告案件，但却因反对宋金议和及拒绝秦桧拉拢，被诬为赵鼎一党，屡遭陷害，贬谪南安军长达十四年之久。那时与九成一同贬谪的有径山宗杲禅师。绍兴二十六年秦桧死，高宗又起用九成知温州，宗杲也出任鄞县育王寺方丈，两人互有来往。史浩有时也替这两位老人传递一些信息，深得他们信任。当史浩任满三年教授后，张九成就将他推荐给高宗。史浩到京都，任太学正，升国子博士，开始与高宗有了频繁的接触。
作为高宗的同仿年龄人，都经历过靖康之难，建炎战乱，史浩高宗在万分艰难情况下稳定南宋王朝，表示了应有的敬重。
宣和七年十月，正值秋高马肥之际，金国皇帝正式下诏，宣布对宋朝开战。这时大宋在山西、河北一带的地方部队，立即成千上万地倒戈和哗变，而国家的正规军呢，也一味溃退甚至一哄而散。金军兵临城下，而身为康王的赵构则自告奋勇，愿意赴汤蹈火，去做人质。而且，临走时，他还悄悄告诉当皇帝哥哥钦宗：如果有什么对付金兵的好办法，就尽管去做，不必顾虑自己。应该说，这份勇气和胸怀还是相当令人感动的。当时，赵构刚满十九岁。
在靖康之难中，赵构是唯一幸免于难的正宗皇子，所以理所当然地成为南宋的开国皇帝。这一年，赵构二十一岁。金国铁骑来去如风，狂飙般所到之处一片血雨腥风。而他的护卫亲军竟也发动兵变，逼迫他退位。他还根本没有时间没有机会建立自己真正能够信任的部队。在这是实际情况下，如果有人要求这时的赵构带领这样一支军队，去战胜刚刚灭掉辽国的金国骑兵，这种要求本身就是脑子进水的表现，相当弱智。看来要和金兵抗衡，他实在还太年轻，他需要在未来的岁月里培养自己的才能、经验、阅历和威望，他需要不少的时间来积累力量。
从北宋崩溃到南宋站稳脚跟，其间充满惊涛骇浪。艰难困苦的程度实不亚于创建一个新的朝代。赵构表现得并不昏庸，也不怯懦，显示出了不错的政治才能。
理解使高宗对史浩十分信任，于是高宗常向史浩请教施政之要，史浩总是回答，最重要的是保固边鄙，收收人才。史浩还向高宗推荐一批杰出人才，高宗就采纳了他的意见，并重用了一批杰出之士。
随着岁月的流逝，赵构对自己的生育能力越来越绝望，而群臣要求立嗣的呼声却越来越响，于是才决定立嗣。二十多年前（绍兴二年），高宗就曾选了两个太祖系的儿童养在后宫，其中一个就是日后成孝宗的赵昚，时名伯琮，六岁。针对高宗决定立嗣的态度，史浩提议说："普安、恩平二王（两个皇子）宜择其一，以系天下所望。"高宗很为嘉许，就命史浩为王府教授。事后，高宗就命普安王写《兰亭序》五百本，普安王感到为难。史浩知道，这是高宗对普安王的考验，就劝说普安王写了七百本进献给高宗。而恩平呢，却一字没写。继而高宗又赐宫女各十人奉侍二王。史浩又劝说普安王："应当用庶母之礼仪相待。"普安就听从史浩的话去做了。数日后，高宗把宫女召回宫去，普安王的宫女仍都是处子，而赐给恩平王的宫女都被玷污了。这样，高宗就决意立普安王为皇太子了。
绍兴三十年，高宗先封普安王为建王，下诏给建王府配直讲、赞读各一名，史浩被任命为建王府教授兼直讲。一日讲《周礼》，史浩说：“膳夫掌膳羞之事，岁终则会，惟王及后、世子之膳羞不会。至酒正掌饮酒之事，岁终则会，惟主及后之饮酒不会，世子不与焉。以是知世子膳羞可以不会，世子饮酒不可以无节也。”建王作而谢说：“敢不佩斯训。”
三十一年，史浩迁宗正少卿，碰到金人侵犯边境，投降派纷纷要求退守，皇子建王积极主张抗战，上书请求亲自作前锋抗敌。不料无形中犯了高宗大忌，幸亏史浩出计，竭力劝建王说：“皇子不可将兵，应当以晋申生、唐肃宗灵武之事为戒。”建王醒悟，立即叫史浩草拟奏章，请扈跸以供子职，辞意恳到。正在发怒的高宗，看了奏章后怒气顿时消释，知道这一奏章出于史浩之手，就对大臣说：“这才是真正的建王府官。” 改请求亲自作前锋抗敌为请求伴驾出征，使皇子避免了大祸。不久，殿中侍御史吴芾请求用皇子作为元帅，先去视察军队。史浩又上书说：“建王一直生活在深宫之中，不曾与诸将接触，怎么能办这事呢。” 高宗就令建王遍识诸将，随他去建康。
三十二年，高宗回到临安，立建王为皇太子，史浩除起居郎兼太子右庶子。几个月后建王继位即孝宗，高宗退居德寿宫。孝宗又马上升史浩为中书舍人迁翰林学士、知制诰。随即驱逐秦桧党人，重用主战派领袖张浚，孝宗召见主战的大臣张浚，说：“久闻公名，今朝廷所赖惟公。”张浚大力陈说主和议的错误，劝孝宗坚持进取。于是孝宗任命张浚为江淮东西两路宣抚使，统帅军马，加少傅，封魏国公。
此时的史浩正积极支持为岳飞父子平反昭雪、联络中原豪杰以备来日恢复中原，他还向孝宗推荐了一批有识之士。六月，也就是赵昚即位后的第十一天，就起用了以直斥秦桧而名满天下的主战派胡铨。七月，孝宗又下诏，追复岳飞和岳云的官爵，依官礼改葬，岳飞的子孙也都特予录用。以布衣李信甫为兵部员外郎，潜入中原招纳豪杰，为北伐中原的战车蓄势待发。史浩又为升任参知政事，接着史浩又推荐枢密院编修官陆游，史陆两家虽是姻亲。在举内不避亲，陆游善于作词，写文章，熟悉典故这是人所共知的。孝宗召见陆游说：“你努力学习早已有所闻，发表的言论也切合事理。”史浩也不忘为青年时的朋友郑覃（郑清之祖父），就作《通义》颂扬郑覃在金人面前不屈的大义行为，朝遂命史官将郑覃事迹列入忠义传。
高宗退居德寿宫后，纵容宦官梁康民开设酒库，这当然是犯榷酒之禁。右正言袁孚“亟请对，论北内有私酤，言颇切直”。高宗听到后震怒，孝宗“严于养志，御批放罢”。
史浩得知出面问皇帝，袁孚有什么罪？孝宗说：“是非所宜言，不逐何待。”史浩多方进行劝解说，“北内给事，无非阉人，是恶知大体？若非几个村措大在言路，时以正论折其萌芽，此曹冯依自恣，何所不至”？“争臣无故赐罢，天下咸以为疑”。“陛下试以意白去孚，倘可以上皇意留之，尤盛德事”。不料高宗“怒袁孚甚”，亲赐孝宗“酒一壶，亲书懙率偎骄四字于上”，孝宗无奈。最后，只能让袁孚“请词”，离开朝廷，而孝宗为他“除直秘阁”，“以职名华其行”，来了结德寿宫与谏官的纠纷。在这场直言与歪理，法与权的小小较量中，充分反映了朝廷人治的本质，让袁孚本人“请词”，“以职名华其行”，不过是为徇私屈法的人治蒙上一块遮羞布而已。但这却反应了史浩在弥合朝廷或宫闱的争斗方面，表现出来的智慧。
刘蕴古是金人派来伪装投降南宋的，别人都没有识破他。当时刚巧有万余人应募去北方营田，陈康伯、张焘等都表示赞同让刘蕴古带他们去，史浩却独持异议说：“这一定是奸人来诈降，伎无所使，就借这件事返回金国。”他当即召来刘蕴古，问他说：“樊哙想以十万人横行匈奴，议者均以为可斩，今你得一万乌合之众，有什么作为？”刘蕴古大惊失色说：“这一万人都是无家可归的，带他们到北方去营田，决不会出什么意外事的。”史浩反唇相饥说：“这一万人固然无家，但你的家在何处？”那时刘蕴古家小还留在金国的幽燕之地。他自知失言，恐惧而回。后来刘蕴古果然私派他的仆人向金密献宋军机，事发而伏诛，人都称佩史浩的先见。
在处理军国大事方面，史浩也想有作为。但他，显然觉得恢复中原，南宋的力量不足，既然没有十分的把握，不如暂时维持偏安一隅的现状。
金帅完颜亮南侵，吴璘自四川出兵，一举收复秦凤、熙河、永兴三路地区。在陕西孤军奋战，虽然连战连捷，但金兵反扑之势却越来越重。史浩以为陕西不可守，说动孝宗诏令吴辚放弃陕西重镇德顺军。隆兴元年，史浩为相，草拟诏书，勒令吴璘撤退，吴璘只得奉诏退兵。当时任川陕宣谕使的虞允文极力反对，并当面向孝宗陈说利害。这一年，虞允文入宫回答皇上的提问，说史浩一直主张弃地求和，等到升为右丞相后，就立即实施他的主和政策。原来史浩在亲自为孝宗拟定的诏书有这样的词句：“丢弃鸡肋一类没有多大意味的东西，可以消除金人的贪婪之心。”虞允文上奏说：“现在有八条理由说明我们可以继续对金作战。”孝宗问到弃地问题时，虞允文用朝见时所执手板在地上画，力陈丧失土地的利害。孝宗听了后悔说：“史浩误我！”于是又下诏令吴璘便宜行事，让吴璘自己决定是进是止，然而为时已晚，吴璘接到前一个诏书，不敢违抗，已开始被迫撤军，金兵追击，失去城池掩护的宋军伤亡士兵三万余人，将佐数十人，宋兵大溃败，秦凤、熙河、永兴三路新收复的十三州也又为金人占据。然而吴璘却实在难负其咎。就在吴璘奉诏退兵的时候，左右劝谏道“将在外，君命有所不受。此举所系甚重，奈何退师？”吴璘回答“璘岂不知此？顾主上初政，璘握重兵在外，有诏，璘何敢违！”貌似平淡的这句话其实极为沉痛。
这时张浚进升为枢密使，抗战派就在朝中占了优势。当时有陈康伯为左相，史浩为右相，朝中的秦桧党人都已被驱逐。所以，应该说朝廷的主流意见都是恢复中原，但是，怎么恢复？是立刻挥师北伐还是暂时韬光养晦？朝中大臣各执其见，争论经年。其中张浚，王十朋，胡铨，虞允文，陈俊卿、王大宝等人主张立即北伐，史浩，陈康伯等主守。
张浚急图恢复，屡次上奏，欲取山东。史浩肯定张浚“大仇未复，决意用兵”的忠义之心，但坚决反对急于用兵的主张，张浚奏请御驾亲征，史浩则向孝宗陈述三条理由以阻止：一曰："下诏亲征"，则无故招致敌兵，何以应付？二曰，若以"巡边犒师"之名，去岁曾有一次，州县供奉甚臣，朝廷自用缗线一千四百万，国库无以负担；三曰，若为"移跸"，则无行宫，陛下自行，万一有一骑冲突，行都骚动，如何是好？可见史浩当时反对是经过深思的。
张浚进位枢密使后，就都督江淮兵马，开督府于建康，北伐也就正式提上了日程。而史浩则认为，北伐劳师费财，南宋又兵弱将庸，主动出兵是冒险之举，退守长江以北，静观金人之变，才是最稳妥之计。史浩还提出了修筑瓜洲、采石两处的城防，以保长江的主张。张浚认为：这是自动向敌人示弱，要筑城防也应筑在淮河上的泗州。
三月，金纥石烈志宁送信给张浚，要求割让海、泗、唐、邓、商等已被宋朝收复的州郡，并增加入贡岁币，这些理所当然地遭到了张浚的拒绝。于是纥石烈志宁在边界调动兵力，宋金前线形势恶化了，和战问题也就到了必须解决的地步。四月间，张浚入见，对的孝宗重申了自己的战略主张。而史浩对局势的判断则与张浚完全相反，他说“窃一传闻之言，多谓敌兵困于西北，不复顾山东。加以苛虐相承，民不堪命，王师若至，可不劳而取。审如此说，则吊伐之兵，本不在众，偏师出境，百城自下，不世之功何患不成?万一未至……宿师于外，守备先虚。我犹知出兵山东，以牵制关陕，彼独不知警动两淮荆湘，以解山东之急耶?……山东去敌万里，彼虽不能守，未害其疆：两淮近在畿甸，一城被寇尺地陷没，则朝廷之忧，复如去岁！”显然史浩主张的是：先加强长江防线，整顿士卒，先立于不败之地，然后伺机而动。
孝宗干脆下诏让大臣们来讨论如何对付金人。洪遵、金安节、唐文若等相继发表了意见，只有宰执没有上奏章。孝宗因此问史浩，史浩上奏说：“先作好充分准备，这才是良策。不要听目光短浅谋士的话，兴没有经过训练的军队去作战，这些没有良好素质的军队，到敌人离去时就来论赏邀功，到敌人来进攻时就丢弃武器逃得无影无踪了，这样做恢复可能实现吗？” 此所谓取快于一时，而含冤万世。他还上书道：“靖康之祸，谁不痛心疾首，掉二帝之蒙尘，悲六宫之远没，确应枕戈待旦，恩报大耻，然陛下初立，应以自治先行，方可图远。如今内乏谋臣，外无良将，贸动干戈以攻大敌，谁能保其必胜？如能侥幸获胜，自当痛快；若然不胜，则重辱社稷，以资外侮，后果那堪设想！”史浩觉得不能侥幸获胜，非到有把握时才能进攻。
这时李显忠、邵宏渊又上奏请求引兵进取，史浩也上奏说：“二将动不动就来请战，难道督府命令可以不行吗？”张浚请入觐，请求即日下诏进建康。皇上问史浩，史浩陈述理由，说不可。退朝后，又用诘问口气对张浚说：“帝王的军队，应当万无一失时，才可以出，岂可尝试以图侥幸。”以后他与张浚又在殿堂上反复辨论。张浚说：“中原沦陷已很久了，现在我们如果不取，豪杰一定会争着去收取。”史浩说：“中原决然没有什么豪杰的，如果有豪杰的话，他们为什么不起来亡金呢？”张浚说：“那儿民间没有武器，因而不能自起，等到我军一到他们一定会积极作内应的。”史浩说：“陈胜、吴广用鉏櫌棘矜亡秦，他们一定要等我部队到才起事，这就不是豪杰了。” 在上面的辩论里，两人都有些走入极端，张浚强调的是民心可用，良机难得，他看到了希望，却忽略了现实的种种困难，所以他无法理解史浩的稳重：史浩看到的是武备不修，取胜艰难，反对冒险，主张卧薪尝胆，所以他认为张浚心存侥幸。这样张浚与史浩的一场廷辩，反复达五日之久，最后史浩劝张浚说：“明公以大仇未复，决意用兵，此实忠义之心。然不量力而图之，是徒慕名尔。宜先为不可胜以待敌之可胜，乃上计也。”张浚以我年纪大了等不及了作回答。史浩继续劝说：“晋平吴，归功于羊怙。明公先立规模，使后人藉是有成，亦明公之功，何必身自为之？”张浚默然。史浩又说“先为备守，是谓良规，议战议和，在彼不在此”。说得很清楚，史浩反对冒失恢复中原。
而张浚一贯刚愎自用，不幸得是，他的固执并不因为岁月流逝而改变，反而因为时不我待而更添急躁。虽然在这次辩论中他处于下风，但他还是在第二天上书孝宗，张浚入内宫上奏说：“史浩的想法不可以改变了，臣恐怕失去一个良好的机会，恳请皇上作出英明决断。”面对如此有利的局势，作为太祖的子孙，被恢复中原的巨大道义力量所振奋，这时孝宗听不到史浩说过的一句话“张浚锐意用兵，若一失之，恐陛下终不得复望中原！”即召见张浚，问他恢复的计划。张浚请孝宗即日下诏，进驻建康，鼓舞将士北伐。此时的孝宗正是初生牛犊，锐气十足，虽然他曾一度在史浩的阻拦下有所犹豫，但经过张浚的鼓励和支持，又坚定了决心。四月，孝宗绕开三省和枢密院，直接下令张浚江淮都督府挥师北伐。
在相府中的史浩忽然得知宏渊出兵的命令，方才知道皇上越过三省，直接给诸将下命令了。便对陈康伯说：“我们都兼右相，但出兵不跟我们说，还用我们做什么用！不辞去还等什么？”遂请求辞相。有政治才干、头脑冷静、处事稳妥的史浩，为右仆射仅四个月，却不惜辞官而去，就是为了坚持宰相应有的军事决策权，坚持自己的思法和观点。当时御史王十朋也论述史浩八条罪状，这就是：怀奸、误国、植党、盗权、忌言、蔽贤、欺君、讪上。孝宗就此罢免了史浩，支持张浚出兵。史浩曾住瓜洲，白遣太府丞史正志前往看他，史正志也与张浚论辩主和。说起来史正志与史浩是同族，史浩祖上史惟则有一弟叫史怀则，他就是史正志的祖上。于是王十朋说史正志拜于史浩门下并像对父亲一样侍奉他，阴险奸邪，望风使舵以求升取，应该予以废黜，以严肃典章刑法。那个林安宅也常出入史浩门下，狐假虎威，作威作福，也应论其罪，将他们一起罢免。孝宗都同意了。
其实史浩心里很清楚。张浚虽有中兴之心，却无中兴之才，可谓志大才疏.。建炎四年他力排众议冒然与金兵决战酿成富平之败，绍兴七年他不听岳飞劝告而以书生吕祉统领刘光世军队而酿成淮西兵变。那场富平之战，高宗为了扭转在东南的被动局面，派张浚经营川陕。张浚把五路兵马二十万人，七万匹马都集中到富平，还有无数粮响。当时南宋的大半家底都集中到张浚手里了，张浚踌躇满志，甚至准备此战胜后，直捣燕京。虽然吴阶、曲端等好多人不同意与金作战，但张浚固执己见，兵力集结后，张浚拒绝了部将的兵不厌诈，出其不意的建议，而是约期作战，结果他连续几次下战表，金兵主将完颜娄室就是置之不理，其实，娄室正在利用这个时间,部署调动兵力，他先派三千骑兵把宋军大营周围的百姓居住的寨子占领，这样就把宋军包围起来。张浚得知便吓坏了，带头逃命，宋军本来就缺乏配合作战的能力，这下是兵败如山倒，军队损失很大，大量的粮草、器械也都被金兵获得。此战后，宋军在陕西已经没有立足点，因为张浚的拙劣表现，大大消耗了南宋的实力，此后宋军再也没有能力集结这样的大兵团和金作战了。
富平之战后，张浚又一手酿造了淮西之变。“中兴四将”之一的刘光世用兵不利，结果被罢免，但他手下的军队怎么处置成了问题。张浚力排众议，派自己的亲信吕祉去统领该军，这个吕祉是个纸上谈兵的书呆子，曾自栩如能亲统一军必能擒刘豫，张浚拿他当宝贝，大加重用.结果吕祉去了淮西以后，不仅无法指挥军队，还瞧不起武将，最后淮西将领郦琼率领四万军队挟持着吕祉北上投降伪齐，这位空谈的吕大人也因此丢了脑袋。而淮西之变的根本原因就是处置不当，副将郦琼和主将王德有矛盾，如果让韩世忠或者岳飞兼领该军，必定不至哗变。因为淮西之变，张浚被罢相，闲置了二十余年。高宗因此说，朕宁可亡国，也决不用张浚。这句话自然可以理解为，凭张浚的才能，用他肯定就亡国了。隆兴北伐前，高宗还对孝宗说，千万不要重用张浚，孝宗不听。结果，张浚出师又出昏招。本来开始出兵时，李显忠为主将，可以节制邹宏渊，但邹宏渊找到张浚抗议，张浚就同意两人各领一军，互不统属。结果符离溃败就是因为邹宏渊不援助李显忠。而且，北伐时，前线部队在安徽，而张浚自己驻扎在扬州，距离这么远，如何指挥，焉能不败。
即使从士大夫角度来说，张浚也不能算是君子。高宗初即位，黄潜善和汪伯彦二奸千方百计排挤李纲，而作为黄潜善一手提拔起来的张浚，对汪黄的误国视而不见，却为了报答黄的知遇之恩，对李纲极尽诬陷，中伤，打击之能事。甚至称李纲为国贼，靖康之耻的酿造者。这些行为岂能与史浩的人品相比。
符离溃败，张浚自弹，不久就去世了。金人渡淮南下，魏胜战死，刘宝王彦逃遁，因此在军事行动中金人更占了上风。
十二月，孝宗命原来停留在镇江的使臣魏杞渡过淮河，到金朝求和。魏杞此行危机四伏。金帅因为魏杞不肯屈服，大怒，挥剑恐吓，剑及颈而止，魏杞的脖子却不因此有稍歪。魏杞从没有被金人吓倒，乾道二年正月，他在燕京晋见完颜褒，就在朝堂上抗言道：“天子神圣，才杰奋起，人人有敌忾意，北朝用兵能保必胜乎？和则两国蒙其福，战则战士蒙其利，昔人论之甚悉”。这段话切中当时宋金实情，因此“金君臣环听拱悚”。虽然这话有点夸张，但却十分切近实际。在魏杞出色的外交斗争下，金廷同意收回遣返归正人的要求，同时确定双方国书称谓。宋国书为“侄宋皇帝昚，谨再拜于叔大金圣明仁孝皇帝阙下”，金国书为“致书于侄宋皇帝”，不写名字，不写尊号，不称阙下，自此成为宋金国书的定势。这一和议的签订，既在一定程度改变了一些屈辱，又使宋金进入了近四十年的和平时期。对此史浩钦佩这位年少时的同窗。
史浩罢相归来，经过慈溪，慈溪县令出城外数里前来迎接，一会，县里的其他官也来参拜，将县衙里挤得满满的，史浩就站起来还礼表示感谢。县令局促不安，请求免礼，史浩说：“阁下与之，有名分，某与之，为乡曲，自是不同。”没有因曾居高位而轻视下级官员。闲居数日，史浩便去游览余姚，拜谒严子陵墓，他对隐居生活颇为自得，《严光墓》一诗透露了他当时的心境：玉匣蛟龙已草莱，一邱马鬈尚封培；云台若也标名胜，千古谁知有钓台。
乾道初，史浩受命知绍兴，到任后，他兴修水利，惩除强暴，深得人望。
他又将母亲洪氏接到绍兴供养，史家孝母有数代传统。当年史浩为官在朝，十分记挂家中母亲及妻儿，每逢八月十五中秋节，总要从都城临安赶回故乡同亲人团聚。不料有一年。史浩在返乡过中秋的途中，因马失蹄而受伤，夜宿绍兴而不能按时返乡与亲人共度中秋佳节。
家中也因他以前年年都及时赶到过中秋，相信他一定会回家来，所以左等右等，但月上中天，玉兔满轮，仍不见他返回，直等到次日八月十六，史浩才迎来了匆匆赶到，于是一家人在月上东山，重设供品祭月，共度佳节，史浩又填《念奴娇 中秋》：碧天似水，看常娥摩出，一轮寒璧。桂魄扶疏光照耀，尘界都成银色。万象森罗，羞明卷彩，黯淡唯今夕。风高露重，井梧湿翠时滴。谁信鹤发婆娑，鄮峰真隐，对影为三益。虎绕龙蟠丹就后，一颗清辉的国。不养银蟾，不关玉兔，到处无亏蚀。三千行满，也能飞上璇极。此事在乡传为佳话。
史浩很会感恩，那年的卖饼婆还健在，史浩就派人用车将她接来，让她坐在堂上，接受恭恭敬敬礼拜。史浩又想推荐她儿子去做官，卖饼婆表示感谢，却没有接受，她说：“希望丞相的子孙，如果有一天能到绍兴来做官，不要忘记我家，能给与接济就行了。” 史浩答应了，并告诉给儿子，后史弥远为常平使者，又到卖饼婆家去，在她的像前跪拜，与她的儿一起坐在堂前叙旧，并送了很多金帛。到嵩之在绍兴做官，卖饼婆的子孙们都在，嵩之也像当年史浩待卖饼婆一样对待他们。
这时王十朋再次上疏说：“皇上即使能够像舜一样去除邪恶，未必能像舜一样端正名声平定罪恶。绍兴距离行都很近，史浩曾为它的属官，奸诈贪赃的名声远近闻名，又有什么颜面再见到他的下属百姓。”皇上又让史浩去主管一祠观。
当时老朋友魏杞、汪大猷都闲居在明州，史浩回乡后就去探望他们，一起吟诗唱和。
史浩赠诗魏杞说：“战战竞竞事一人，匡扶社稷演丝纶，洁如寒涧冰千尺，净若秋空月一轮，待漏金门伺五夜，中书决政坐重茵，太廉二字君王赐，清白芳传奕叶孙。”赞慕了魏杞的品质。当年魏杞受命于国难之际，出使金邦而不畏强暴，一身浩然正气而功成返国，金邦的馈赠和皇帝的赏赐都一概不受，功勋卓著而永保冰清玉洁，两袖清风荣归故里。如今孝宗御书的“大廉堂”，制成金字匾额悬挂在祠内。史浩见了，不能不深受感触。
史浩又赠同窗汪大猷说：“勇退须当得谢年，不因问舍与求田，悠悠富贵非吾愿，草草杯盘却信愿，自语筋骸吾矣，人知忠赤尚依然。” 赞美大猷不图名利，激流勇退的人格。
自此，史浩数年不被诏用。
乾道八年，史浩又以保宁军节度使知福州，他仍然努力为大宋尽忠，“募夫以石铺之”，筑起一条令世人瞻目的“商旅之途”、“诗歌之路”。
九年正月，史浩从福聿归来，佚老于四明。每每向南湖智连法师问法要。问说，师于禅律亦贯通耶。法师说，水泮雪消固一水耳。又问，华严般若何太支离。法师说，支离所以为简易。史浩倏然有省。
淳熙初，皇上问执政：“久不见史浩，无他否？”遂除少保、观文殿大学士、醴泉观使兼侍读。淳熙二年，孝宗过德寿宫，到石桥亭看古梅，命内侍宣史浩，史浩到来，孝宗便赐史浩坐，太上以黄玉紫心葵花玩宣劝，史浩捧觞为两宫寿，这天君臣都沾醉。小内侍轻声说：“史相公小酌。”孝宗听到说：“满酌不妨，当为老先生一醉。”喜赐玉带、金合、紫尼罗等和御书四幅，史浩谢过皇恩就回来了。
淳熙五年史浩在东钱湖建月波讲寺。当年他路过金山，见水陆法会之盛，于是迭石成岩，为宝陀洞天，结洞室以安大士，乃施田一百亩，于寺建水陆道场，亲制疏词，撰集仪文《仪文》四卷，四时启建水陆大斋。孝宗听说后，赐“慈悲普济寺”额，又御书“水陆无碍道场”以揭于殿。水陆法会由此兴盛起来了。
这一年，史浩复为右丞相。皇上说：“自叶衡罢免，丞相一职一直空着，等你很长久了。”史浩上奏说：“承蒙皇上恩惠，得以再任丞相，臣一定要尽力维持公道，使朝廷没有朋党这种弊端。”皇上说：“宰相岂当有党，人主亦不当以朋党名臣下。朕但取贤者用之，否则去之。”史浩坦言真诚，出任右丞相后，急于进贤如初。录用贤士，三请朱熹，重用杨简、陆九渊等十五名江浙名士，士林为之一振。赵雄曾荐刘光祖试馆职，光祖朝堂答策，论科场取士之道。皇上亲批其后说：“用人之弊，人君乏知人之哲，宰相不能择人。国朝以来，过于忠厚，宰相而误国，大将而败军，未尝诛戮。要在人君必审择相，相必当为官择人，懋赏立乎前，诛戮设乎后，人才不出，吾不信也。”手诏既出，中外大耸。议者谓曾觌视草，为光祖甲科发也。皇上派曾觌拿去给史浩看，史浩看后上奏说：“唐、虞之世，四凶极恶，止于流窜，三考之法，不过黜陟，未尝有诛戮之科。诛戮大臣，秦、汉法也。太祖制治以仁，待臣下以礼，列圣传心，迨仁宗而德化隆洽，本朝之治，与三代同风，此祖宗家法也。圣训则曰‘过于忠厚’。夫为国而底于忠厚，岂有所谓过哉？臣恐议者以陛下自欲行刻薄之政，归过祖宗，不可不审也。”敢亍纠正皇上“过于忠厚，宰相而误国，大将而败军”的不正确看法。
史浩为政几十年，先后引荐过许多有用之才，其中包括张浚、王十朋、朱熹、杨简、陆游、叶适等近五十人，那些被举荐的有的不领情，如张浚的儿子张式；有的不知引荐者是谁，直到史浩去世后才知情，如叶适，有的反而恶语相加，如王十朋，有的认为引荐有笼络人心的意思，如朱熹。他们虽然诋毁史浩，但史浩还是不断向孝宗推荐。孝宗问，“是以德报怨吗？”史浩回答说：“臣不知有怨，若以怨而德报之，是有心也。”如莫济曾诋毁史浩，史浩还是向孝宗推荐，让他掌内制。孝宗说：“此人不是议论过你吗？”史浩说：“臣不敢以害公。”于是莫济被任命为中书舍人兼直学士，曾被史浩推荐进用，超级进封为魏国公的张浚，因用兵山东与史浩对立，恨不得置史浩于死地，后来兵败自劾，史浩不计前嫌，反而为他上表说情。
史浩政尚宽厚，为了要救一个无罪而被判死刑的市民陆庆童，竟又和皇帝争论起来，忿而辞职。后来孝宗提起陆庆童的案子，还表示后悔。当时枢密院承旨王抃建议，因为殿、步二司军多虚额，请求各募三千人充实。不久殿前司就上街捕捉市民，京城骚动，被掠捕的许多人都斩断指头，表示不愿意。朝廷强行征兵，军人怙众，强夺民财，使百姓与士兵发生了冲突，孝宗拟以军法处置，史浩认为：军法处理兵是可以的，但处置百姓就过当了，并说：“言也可畏，‘等成，死国可乎？’是军人语。”孝宗发怒说：“这是把我比作秦二世了。”史浩缓缓地说：“自古民怨其上者多矣，‘时日曷丧，予及汝偕亡。’岂二世事？”就这样又辞相职。皇上同意史浩去职，就拜他为少傅、保宁军节度使，充醴泉观使兼侍读。
淳熙十年，七十二岁的史浩，封魏国公，致仕。他才悠然自得地游览起故乡的明山秀水、名胜古迹来，偶尔也写一些诗歌和短文，以此抒发心怀。一日游东钱湖，即咏之：“行李萧萧一担秋，浪头始得见渔舟。晓烟笼树鸦还集，碧水连天鸥自浮。十字港通霞屿寺，二灵山对月波楼。于今幸遂归湖愿，长忆当年贺监游。”还填了《满庭芳 游湖》：和靖重湖，知章一曲，浙江左右为邻。绣鞯彩舰，只许日寻春。正好厌厌夜饮，都寂静、没个游人。夫何故，欢阑兴阻，只为隔城闉。堪嘉，唯甬水，回环雉堞，中峙三神。更楼台缭岸，花柳迷津。不惜频添画烛，更深看、舞上华裀。拚沈醉，从他咿喔，金距报凌晨。
这小普陀便是当年史浩为相时所凿。史浩从小居住在东钱湖之畔，为人至孝。他的母亲信仰佛教，平时常要到南海普陀去朝山进香，求佛保佑她家世世代代荣华富贵。后来，因为年老，双目失明，去南海进香，要跨洋过海，路途遥远，海上又多惊涛骇浪，舟楫难渡。可是老母整天嚷着要去拜佛。史浩虑及老母行动不便。但又无法阻止。他为此急得寝食不安。一天，为了消除烦闷，到湖上泛舟。只见湖上有个岛屿风景优美，嶙峋的岩石兀立水中，犹如东海上的普陀山。他忽然灵机一动，何不在岛上凿个山洞，内供佛像以供母亲拜佛。于是，他召集地方上名匠雕工，悄悄的在霞屿岛上凿建一个石窟：把岛屿打一个大洞，洞中雕凿石观音、护法神、飞龙等造像，待一切布置停当，便请老母去普陀进香。这天，正好风和日丽。史浩预先安排了一艘大船，他把老母扶进船舱坐定，然后扬起风帆，荡起橹浆，在东钱湖中周游。每当夜晚，船工便按史浩编的话向老人报告："船到招宝山了"，"船过沈家门了"。船在东钱湖上游荡了三天三夜，最后驶到石窟之前，船工高声报告："普陀山到了！"候在那里的和尚见大船靠岸，赶紧念经的念经，敲木鱼的敲木鱼，烧香的烧香，骗得史母确信到了普陀山。于是，史浩便扶着老母进入石窟，烧香拜佛，了其心愿。以后每年拜佛，他都用这个办法。
史浩迁居月湖，是在他中举之后，所以晚年他治第在月湖上，建阁作堂，特地在园内造了一个宸奎阁，珍藏两朝赐书。孝宗就御书“明良庆会”名其阁，“旧学”名其堂。孝宗还将月湖"竹屿"赐给他，并拨银万两在竹洲建了一座"真隐馆"为史浩府第，垒石为山，引泉为池，称"四明洞天"。又书了"四明洞天"四字相赠。史浩在府第时有诗咏。《喜迁莺（四明洞天）》：凭高寓目。爱屹起四窗，云南云北。缥缈烟霞，萧森松竹，多少洞天岩谷。著向十洲三岛，入海何妨登陆。要知处，在皇家新赐，西湖一曲。林麓。真胜概，樊榭鹿亭，百卉生幽馥。绿绮春浓，青蛇星烂，隔断世间尘俗。笑呼羡门俦侣，时引宝觞醽醁。醉和醒，但南山之寿，难忘勤祝。《迎仙客（洞天）》：瑞云绕。四窗好。何须隔水寻蓬岛。日常晓。春不老。玉蕊楼台，果是无尘到。没智巧。没华妙。个中只喜风波少。清尊倒。朱颜笑。回首行人，犹在长安道。《南浦（洞天）》：一箭舜弦风，向晓来、轻寒初报麦秀。蝶股歇花须，韶光老，莺声倦闻呼友。池塘绿暗，数竿粉节天然瘦。对兹美景，爱清歌妙曲，千钟芳酒。谁知别是壶中，缭画阁朱栏，烟谷云岫。三岛十洲东，青霄上，神工幻成岩窦。瑶台阆苑，翠旌羽葆频相就。世凡洗断，教乌兔从今，迟迟飞走。
史浩告老还乡以后，又创四明尊老会，与魏杞、汪大猷他们咏诗品茗，写下大量诗作。
又建月湖诗社，诗社中大都是地方上学者和史浩的亲故。袁燮是史家姻亲，沈焕是史浩同科进士，杨简是史弥远的老师，他们都师承陆九渊，研究心理合一的"心学"，且颇有成就，人称"淳熙四先生"，这些人虽都年少于史浩，却能与史浩一起吟诗娱乐。
届时还要举行龙舟竞渡之戏，将船身彩绘如龙形，船头列龙头，龙头篷架精雕细刻。旁边张挂彩旗，鼓乐细吹，竞赛时敲锣击鼓，划者呐喊而行，运动如飞。“三岛烟霞，十洲风月，四明古号仙乡。萦纡雉堞，中涵一片湖光。绕岸异卉奇芳。跨虹桥、隐映垂杨。玉楼珠阁，冰帘卷起，无限红妆。龙舟两两飞扬。见飘翻绣旗，歌杂笙簧。清尊满泛，休辞饮到斜阳。直须画蜡荧煌。况夜深、不阻城隍。且拚沈醉，归途便教，彻晓何妨。”赛龙舟这既是与民同乐，也为追念史氏先祖。相传史浩曾祖史简，跟庆历五先生之一王致学习，以儒雅、端正著称，他对母亲极为孝顺，后任郡吏，一天，月湖举行盛会，史简邀母亲和亲友一起游湖，恰遇郡守要找史简，史简没有及时赶到，被郡守严厉地训责了一顿，回家后因此抑郁而亡，年近三十三岁。对此史家人一直不愿忘记。
史简去世后，他妻叶氏年仅二十五岁，已有弱子幼女，不久弱子也殇，叶氏父母认为年轻守寡不是办法，就动员女儿改嫁，叶氏因腹中有遗孤，请求父母谅解，但父母还是坚持让她改嫁，叶氏严正地说：“要我用异姓粮食度日，宁可成为史姓的饿鬼。”叶氏父母见女儿如此坚决，也就不再劝了。因此，叶氏成了史家最受尊敬的人。
淳熙十四年四月四日，史浩为功德疏文，中说：“道骨既销于黄壤，仙游托在于青霄，伏觊光明，下昭窟宅，潜德九原而可作，遗芳万祀以长存。”下水岙长乐里山有史简叶氏墓，为史诏所筑，在叶氏墓一侧史浩建无量寿庵，前殿供佛，后殿奉祀赠冀国公史简，冀国夫人叶氏，赠越国公八行先生史诏，越国夫人徐氏四位神像。当年史浩在相位时，孝宗诏赐家庙，祀及五世，罢政东归，慨念始祖暨高祖俱无坟墓，乃卜地于东湖下水之原，筑五穴，具衣冠葬之，并植楹其上，自著招魂文，勒之石。
绍熙五年，八十九岁的史浩似乎完成了他生命中的所有使命，在府中寿终正寝。孝宗为此二宫震悼，天子缀朝，封会稽郡王。
光宗即位后，又进史浩为太师，赐地金家岙或称上水岙，改名吉祥安乐山作为墓地。宁宗登极，又赐史浩谥为文惠，御书“纯诚厚德元老之碑”赐焉。
嘉定十四年，再追封越王，改谥忠定，配享孝宗庙庭。