相传古时，这儿是一马平川的河谷地，土地肥沃而物产不丰，原因是河两岸每年都要遭遇几次洪涝袭击。洪水来时，泽国一片，淹没庄稼，冲毁房屋，百姓四处逃荒，灾民苦不堪言。一代代繁衍生息在这里的人们处于水深火热之中。为制服洪魔，使百姓免遭洪灾之苦，大家投工投劳，联手在泷江边修筑了一道小小的河堤。胡铨天资聪明，从小笃学，常听其父讲大禹治水的故事，深知家乡民众的疾苦，今闻百姓修堤，年幼的胡铨也为之振奋，经常徒步五六里路去修堤工地，为乡亲们送送茶水，鼓鼓干劲。当胡铨看到不高的河堤就在眼前时，情不自禁跨上堤，对着空旷的田野吟唱开了，倾诉积压心头的怜民之情，抒发爱乡之感。说也奇怪，胡铨走过的这段河堤竟慢慢“长”高了些许。民工们见此情景，连忙跪下惊呼：“文曲星下凡了……！”岂料，胡铨却摸不着头脑，吓得赶紧跳下堤来，逃也似地离去。
胡铨在书香门第的熏陶下，能诗善赋，出口成文，说出的话像先天造就，有很强的预见性，且能美梦成真。邻里乡亲都说他才学超众，金口玉言，日后定是栋梁之材。一次他经河堤去当时属吉水的富滩做客，巧遇一位云游的和尚去富滩上游的龙王庙取经。两人同行于刚修的这段矮堤上。该和尚见堤虽长但不高，便随意道：“抬脚在庐陵（即吉安县），落地是吉水”。胡铨由衷敬佩乡亲们的劳动，但见和尚睥睨河堤，很是不满，可又不好与父辈年龄相仿的和尚争辩，也脱口一句：“去时跨长堤，返期攀天梁”来回敬和尚。和尚见小小年纪的胡铨出口不凡，庄重而不失体面，尊重而不失矜持，内心喜欢上了这小胡铨。一路上两人一唱一和，谈天说地，见物话物，遇人谈人，就事论事，畅抒己见，忘年之交随之结成。
这天晚上睡到半夜，胡铨做了个神奇的梦，只见星光灿烂的天际突然间乌云涌来，电闪雷鸣，狂风大作，有倒海倾江之势，具天翻地覆之态。睡梦中胡铨见两路天兵天将为争夺空间势力范围，在天际间大动干戈，直打得天昏地暗，人仰马翻，还各不相让，最后把天堂大殿上的一根梁木给掀了下来，天堂大厦顷刻坍塌。过了很久，梁木落在河堤上，顿觉地动山摇，震撼环宇。又不知过了多长时间，河堤变成了大山，堤下良田变成了梯田，山间水塘变成为山中小湖，山上林木繁茂，郁郁葱葱，山间鸟语花香，流水潺潺，好一个世外桃源美景展现在眼前。
胡铨一觉醒来，甚感奇怪，便将梦境告诉村民。大伙结伴赶到河堤边去察看，果如胡铨所述，哪里有什么河堤，分明是一座真真实实的大山，百姓们便将它称作“天梁山”。此名一直留传至今。天梁山不仅能夏抵涛挡洪，冬抗滚滚寒流，还为当地提供了森林资源。据说1945年已投降的日本鬼子顺天梁山脚而行，天梁山像一块天然屏障挡住了鬼子东进北行之路，使山北的百姓免遭鬼子的兽行骚扰。天梁山成了百姓眼中的宝山。
十年后，胡铨乡试中举。忘年之交的和尚了解到这一情况后，更认为胡铨绝非凡人，并对早年小看河堤之事内疚不已，为表愧意而在山上修建了一座寺庙，并自为第一任主持。诚心的和尚把寺庙操持得有模有样，远近闻名，因此四面香客络绎不绝，八方骚人蜂拥而至，香火盛极一时。
早立卓然
胡铨自小潜心学问，强记博览。建炎二年（1128年），宋高宗在淮海策问进士，胡铨对御题问“治道本天，天道本民”，回答说：“汤、武顺从民众而兴起，桀、纣顺应天道而灭亡。现在陛下起于干戈锋镝之间，外乱内讧，而策问臣下数十条，都质问于天道，而不倾听民众呼声。”又说：“现在的宰相不比过去的晏殊，枢密、参政又不是过去的韩琦、杜衍、范仲淹。”答问长达一万多字，高宗看到而惊异，打算把他列为第一名，有人忌恨他的耿直，移为第五名。授职抚州（今江西抚州市）军事判官，未上任，恰逢隆佑太后（孟皇后）为避金兵逃到赣州，金兵随后追击，胡铨以漕司檄文统摄本州幕僚，召募乡丁辅佐官军抵御，受赏转承直郎。服父丧，从乡先生萧楚学习《春秋》。
绍兴五年（1135年），张浚设都督府，辟举胡铨任湖北仓属，胡铨没有赴任。有诏令到都堂审察，兵部尚书吕祉以贤良方正推荐他，获高宗赐对，任枢密院编修。
乞斩秦桧
绍兴八年（1138年），金国派遣张通古、萧哲二人作为“江南诏谕使”，携带国书，在王伦的陪同下，来到南宋都城临安进行和谈。金使态度极其傲慢，目中无入，对南宋当局百般侮辱。但高宗和秦桧一味苟且偷安，不惜卑躬屈膝与金使议和。此举激起了朝中大多数大臣与全国军民的义愤，纷纷起来反对。胡铨反对议和最为激烈，他上书高宗，对金国议和的阴谋进行揭露，而且要求高宗斩秦桧、王伦、孙近的头。他还表示，如果不这样做的话，他宁愿投东海而死，也决不在小朝廷里求活。
胡铨这篇奏疏一经传出，立即产生强烈反响。宜兴进士吴师古迅速将此书刻版付印散发，吏民争相传诵。金人听说此事后，急忙用千金求购此书，读后，君臣大惊失色，连连称“南朝有人”、“中国不可轻”。
奏疏上报之后，秦桧认为胡铨狂妄凶悖，鼓众劫持，诏令除名，贬送昭州（今广西省平乐县）管制，并降诏传告朝廷内外。给事中勾龙如渊、谏议大夫李谊、户部尚书李弥逊、侍御史郑刚中等人纷纷想方设法出面营救，秦桧迫于公论，只得改派胡铨去广州监管盐仓。
甘心流窜
绍兴九年（1039年），改为签书威武军判官。
绍兴十二年（1142年），谏官罗汝楫弹劾胡铨饰非横议，诏令除名，贬送新州（今广东新会县）管制。
绍兴十八年（1148年），新州守臣张棣攻讦胡铨与宾客唱酬对答，诽谤怨恨朝廷，胡铨再被贬至吉阳军（今海南省崖县崖城镇）。
绍兴二十六年（1156年），秦桧死，胡铨量移至衡州。
绍兴三十一年（1161年），胡铨获准随意居住。
屡议朝政
绍兴三十二年（1162年），宋孝宗赵昚即位，胡铨复职奉议郎、知饶州。孝宗召他入对，胡铨上奏修德、结民、练兵、观衅四事。孝宗说：“朕很早就听说你耿直诚实。”任命他为吏部郎官。
隆兴元年（1163年），迁任秘书少监、擢任起居郎。针对自隆兴北伐失败后朝中的议和之风，胡铨多次上表予以反对。
当时发生旱灾、蝗灾和星变，孝宗下诏垂询政事缺失，胡铨应诏上书数千言，全篇引用《春秋》记载灾异的方法，论述政令缺失的情况有十种，而上下情不合的情况也有十种，并说：“尧、舜四目明白，四耳通达，虽有共、鲧之乱，不能堵塞。秦二世以赵高为腹心，刘邦、项羽横行而没有听说；汉成帝杀死王章，王氏移鼎而没有听说；汉灵帝杀死窦武、陈蕃，天下崩溃而没有听说；梁武帝信任朱异，侯景斩关夺隘而没有听说；隋炀帝信任虞世基，李密称帝而没有听说；唐明皇驱逐张九龄，安、史包藏祸胎而没有听说。陛下自从即位以后，号召延揽宾客，与我同时召来的张焘、辛次膺、王大宝、王十朋，现在张焘已离开朝廷了，辛次膺离开朝廷了，王十朋离开朝廷了，王大宝也将离去，只有臣还在。以言论为避讳，而想堵塞灾异的根源，臣知道必然不能做到。”
胡铨又说：“过去周世宗被刘旻击败，周世宗处斩败将何徽等七十人，军威大震，果然打败刘旻，夺取淮南，抚定三关。一天之内处死七十位将领，哪里还有将领可以使用？但周世宗终能恢复失地，这难道不是因为无能懦弱的人离开，而勇敢的人出来了吗？近来宿州之败，将士死于敌手的布满原野，而败军之将以得到的金银贿赂权贵以求得自解，上天以灾异昭示人们，陛下必须信赏必罚以顺应天道变化。”他又谈论台谏官说：“今朝廷大臣以箴默不言为贤，取悦陛下为忠，导致唐德宗时‘卖直’那样的事发生，正所谓‘一言丧邦’。”孝宗说：“不是你，我听不到这些话。”
金朝请求和议，胡铨说：“金朝知道陛下锐意恢复中原，因此用好话欺骗我，希望绝口不要说‘和’字。”孝宗将边防事宜全部交付张浚，而王之望、尹穑等人专主议和排挤张浚，胡铨当廷斥责他们。胡铨兼任权中书舍人、同修国史。张浚儿子张轼被赐金紫，胡铨收缴上奏，认为不应当这样对待勋臣子弟。张浚与胡铨交情深厚，胡铨不顾忌这一点。
十一月，孝宗就战和问题向朝臣征求意见，与会的十四人中，力主和议的占一半，模棱两可的占一半，反对议和的不过胡铨一人。朝廷任命他为宗正少卿，胡铨请求外任，没被允许。
早先，金将蒲察徒穆、大周仁以泗州地投降，萧琦率兵一百人投降，诏令都授予他们节度使。胡铨说：“接受投降自古以来都是件棘手的事情，六朝七次得到河南地区，但很快又都丧失；梁武帝时侯景将河南地区来投降，不久台城沦陷；本朝政和、宣和年间，郭药师从燕云来投，不久成为中国祸患。现在金朝三大将前来归附，给予高官厚禄，优待他们的部队，以维系中原民心，是不错的。但让他们驻在都城附近，万一他们包藏祸心，作为内应，将来会后悔莫及，希望不要任命他们掌管兵权，把他们的部众迁移到湖、广地区以杜绝后患。”
隆兴二年（1164年），胡铨兼任国子监祭酒，不久任权兵部侍郎，兼中书舍人。八月，孝宗因灾异避住偏殿减少膳食，诏令廷臣议论政事缺失和当前急务。胡铨认为救灾是当务之急，同金讲和是政事缺失，认为“今日之议若成，则有可吊者十；若不成，则有可贺者亦十。”并举“十吊”之事，再次反对议和。
当时，金兵向商、秦之地进发，楚荆、昭关、滁等地先后失守，只有高邮守臣陈敏顽强地拒敌于射阳湖（今江苏东部）。形势十分危急，胡铨受命以本职措置浙西、淮东海道。一面上表弹劾拥兵不救的大将李宝，敦促他迅速出师救援；另一方面又亲自带兵上前线抗金。时值严冬腊月，河水冻结，胡铨身先士卒，手持铁锤下河击冰。将士们深受鼓舞，一鼓作气，奋勇作战，终于击退了金兵的入侵。许久后，提举太平兴国宫。
乾道初年，胡铨以集英殿修撰的身份知漳州，改任泉州。上朝奏事，留任工部侍郎。入朝对策，说：“少康以一旅之师恢复夏禹基业，今陛下富有四海，不只一旅，而即位已经九年，恢复过去基业的效果还未显著。”又说：“天下多水旱灾害，左右不上报，这是为国谋画者的过错，应该命令有关部门迅速做好防灾准备。”请求退休。
乾道七年（1171年），任宝文阁待制，留经筵。请求离职。以敷文阁直学士出外任宫观官。辞行时，还以归还陵寝、恢复故疆上言，孝宗说：“这是朕的志向。”并问他回到哪里，胡铨说：“回到庐陵，臣以前在岭海曾经训解经书，想写成此书。”孝宗特赐通天犀带以示宠荣。
胡铨归去后，献上所著《易》、《春秋》、《周礼》、《礼记解》，孝宗诏令收藏于秘书省。不久复任原官，升龙图阁学士、提举太平兴国宫，转提举玉隆万寿宫，进为端明殿学士。
归家长逝
淳熙六年（1179年），召胡铨归经筵，胡铨以疾病极力推辞。
淳熙七年（1180年），胡铨已届七十八岁高龄，疾病缠身，不能再上朝，孝宗准许他以资政殿学士的身份致仕。五月，胡铨病危，弥留之际，仍口授遗表，悖悖期望孝宗“舍己为人，安民和众”，牢记家仇国恨，收复失地。他自己则愿学习唐代安史之乱时忠贞杀敌、以身殉国的张巡，“为厉鬼以杀贼，死亦不忘！”就在忠君爱民、杀敌报国嘱咐声中，胡铨溘然辞世。孝宗闻讯后，特赠通议大夫。
淳熙十三年（1186年），追谥“忠简”。