考场败将
李慈铭禀赋优异，又肯刻苦用功，十几岁时便能与大人们赋诗酬唱，文名享誉乡里，名列“越中三少”之一。（其余两人为王星诚、陈珊士）。但考运不佳，屡试屡挫，先是经落榜四次后，才于二十二岁时考中秀才。后来历经二十年，十一次落榜，于四十二岁时始中举人。最后又经过十年，三次落榜，终于在五十二岁考中进士。
悲喜同日
李慈铭十四岁时，祖母病重，乃奉双亲之命迎娶大他五岁的表姐马淑人为妻。本意是要“冲喜”，无奈，婚礼刚完成，祖母便于当天去世。这件憾事始终是李慈铭心中难以排除的阴影，使得他与妻子一直维持着如姐弟一般的感情，更影响了李慈铭日后的感情生活。
酷好女色
李慈铭酷好女色。同治五年他就“以四百圆番金购买一歌娘为妾”，光绪初年，他又趁华北大旱，人口价低之际借钱买了两个妾，其中一个妾就花了白银一百八十两。他家里仆役众多，最穷的时候，他家也“平均常常雇佣仆人三四人，女佣两人，更夫一名，厨师一名，车夫一名”。虽然“穷困潦倒”却行必有车。
清代规定，官员不得嫖妓，但是可以“挟优”，也就是与伶人戏子交往，所以官员交好伶人，成为风习。李慈铭颇好“这一口”，他经常在饮宴时叫伶人来陪，也时到伶人下处去住，梅兰芳祖父梅蕙仙的入室弟子，人称“花榜状元”的京城名伶朱霞芬更是他的至好。
憾无子嗣
李慈铭婚后无子，在传宗接代的压力下，曾于三十七岁、四十岁、五十九岁时，先后纳妾三名，但还是未能生下一子半息。为此，他一直耿耿于怀。到了后来，竟经常流连于风月场所，据说因为常到妓院天下美女都看尽，所以有了双性恋的倾向。而且还染上了“好男色”之癖。
嗜书成癖
李慈铭考运不佳，在官场也不甚得意，收入有限，寄居北京城的费用浩繁，经常举债度日。但据吴振芝从《越缦堂日记》中所见李慈铭先生收支状况分析，发现他每月开销金额中最庞大的费用，竟是买书。在他的日记里，常常记载他到书市疯狂采购的事迹。买书、读书、藏书，成为他自幼至老最为自豪快意之事。某年的冬天非常寒冷，李慈铭的钱全部花在古书上。他无钱买煤，他只好在冰冷中颤栗地熬过一天算一天。他熬夜读书，为求证一事，翻箱倒箧，辛苦非常。他却兴奋地说，“经义悦人，如是如是！”
耿介直露
李慈铭具有爱憎分明的强烈个性，对于自己看不惯的人或事情，常不假辞色的当面或即时破口大骂，以致于一些至交好友，如张之洞等，最后都因故宣告决裂。有时他也会在日记中自我检讨，但由于不喜欢俯仰随人、委曲求全的个性使然，始终不改旧习。不过，他处世虽多有峻厉言行，对于亲族，甚至家仆、亲友遗孤，则多以温情相待，可见是一位性情中人。
官场生涯
李慈铭的京官生活，呈现一种极为矛盾的状态：一方面，李慈铭正式收入极低，其他收入来源也不多，所以经常债务缠身，哭穷叫苦。我们看他的日记，其中经常哭穷，什么“比日穷困不堪”，什么“比日窘甚，负债有如牛毛矣”。另一方面，他却一直追求着与自己的收入水平不相称的生活方式：住大宅子，用许多仆人，出门必有车马。
从同治十三年起，李慈铭租了一套豪宅，原闽浙总督季文昌的旧邸，这个房子可不一般：“有屋二十余楹，有轩有圃，广植花木，气派宏阔。”花园里内有轩翠舫、碧交馆、花影廊、小东圃等名胜，湖光山色，美不胜收。
更为引人注目的，是他长年沉醉于宴饮、歌郎、冶游的“上流社会生活”。我们看他的日记，他每个月有一半时间，是在外面大饭店吃饭，“每月有一半以上都有饮宴”，在声色上更经常大为破费。“光绪三年，他的仲弟在乡饥饿而死，而他在北京一年之中却花一百多两于酒食声色之征逐。‘余虽穷，酒食声色之费亦不下百金。通计出门七年以来，寄弟者不过十金耳。”
所以李慈铭的生活属低收入高消费类型。李慈铭的这种矛盾生活状态，第一个原因当然是他收入低微而生性又贪图享受所致。
李慈铭官位一直不高，所以收入很低。捐官又掏空了家底，所以家中也无法接济。但李慈铭的生活品味却相当高。李慈铭出身地主家庭，早年家中还颇有些田产，从小没吃过苦，生活相当优裕。所以他一生讲究享受，“食不厌精，脍不厌细”。他对衣服的讲究和在乎远超过曾国藩，比如这一年闰四月二十五日记：“四月间制珠毛皮小貂袖银红江紬袍一领。平生衣服，无此都丽也。以袖甚佳，有承平密致之风，团花绣球，俨然宫体。”此袍虽花去他20两银子，但他没有心疼，反而颇为得意。徐一士说：“慈铭嗟贫，时见于《日记》，而颇讲甘美享用。”确实不假。
李慈铭不但不耐清贫，还看不起那些“不懂享受”的同僚。比如他的同时代人李用清是同治四年翰林。《清史稿》称此人“安贫厉节”，不收陋规，每出门则徒步奔走，不乘车。众人皆称其俭德，李慈铭却在日记中嘲讽他“一无才能，惟耐苦恶衣食，捷足善走，盖生长僻县，世为农氓，本不知人世甘美享用也”。他的价值取向可见一斑。
第二个原因是李慈铭心态的消沉。李慈铭成名既早，自视极高，以为凭自己的才华，搏取“黄金屋颜如玉”当如探囊取物，不料一生困顿，仕途潦倒，沉浮冷署，对此一直深以为愧。所以李慈铭任户部司官期多年间，他对职事表现得相当厌倦，甚至“经年不一诣署”，原因是他“羞与少年为伍”，“与俗吏随波”。他的二十多年京官生涯，基本上是在失望、懒散、愤世嫉俗、牢骚满腹中度过的。所以干脆就纵情诗酒，以消块磊。李慈铭因境遇不顺，“口多雌黄”，“性善骂”，“持论苛刻”，爱批评当时官场种种丑态，对“同时名流，无不极口谩骂，不留余地”。 因此获得了“敢言”的称号，被人目为清流。史称他“不避权要，当面折人、议论臧否”。然而虽然痛恨官场腐败，李慈铭对升官其实一样热衷。光绪十四年（1888）简放各省学政，他事先也四处活动，做了许多工作，结果没有成功。光绪十六年终于补授山西道监察御史后，他“敢言”的锋芒就大为收敛。门生攀增祥说“牢骚渐平，欲有所陈，尚未封上，但谈时政，不事搏击”。
李慈铭为官之初，也曾矜尚名节，“尝自订七例自勉：一不答外官，二不交翰林，三不礼名士，四不齿富人，五不认天下同年，六不拜房荐科举之师，七不婚寿庆贺”。但他远未能践行自己的诺言。李慈铭一方面在日记中深刻嘲讽那些“曲计攀援”以求外官馈赠之人。另一方面，他自己就是一个“曲计攀援”的高手。光绪七年春，他就曾至贤良寺投刺直隶总督兼北洋大臣李鸿章，“以近日窘甚，冀其随例有酬应也。”这次李“馈别，敬十二金，犒使二千”。
李慈铭一生谋得的最大一笔“馈赠”，是生涯最后几年担任“天津问津书院北学海堂山长”所获的每年一千一百余两束修，这是他京官生涯后几年生活水平越来越高的基本保障。“天津问津书院北学海堂山长”其实只是一个挂名，一年不需要到天津跑几次，束修却如此丰厚，原因很简单：这其实是李鸿章送给他的“封口费”。盖李鸿章深知李慈铭之善骂，更自知自己身处高层政治矛盾的中心，很容易被清流们抓住小辫子不放，所以他倾力结好李氏。这笔封口费效果不错，虽然李慈铭虽恣睢放纵，“任情善骂”，但在晚清清流皆竞相痛骂李鸿章之时，他却从来不开口，“慈铭在言路，不劾李鸿章。”
虽有“漆室坐忧时事非”(《赠吕定子编修》)的感情，任官期间也曾对时政有所批评和建议，但思想比较迂阔保守，持儒家“内圣外王”（《复陈昼卿观察书》）的观念，以求索不倦的学者和矜尚名节的名士，终其一生。他承袭乾嘉汉学余风，治经学、史学，都有一定成就。又博览群书，时有所评。其治学读书所得，大都载入《越缦堂日记》，颇为世人所重。
李慈铭自言在创作方面“所得意者莫如诗”（《白华绛跗阁诗甲集至己集初定本自序》）。今传已刻之诗起道光二十四年(1844)至同治十三年(1874)，共850首，主要反映了贫窘的学者与困顿的名士的生活与心境，山水风物、交游唱和的“登监闲适之篇”较多，至于“感愤切挚之作”（《越缦堂诗话》），也多是抒写落拓不遇之感。直接触及时事、反帝慨时的篇什，如《庚申八月感事》、《出大沽口感事》、《庚午书事》、《京邸冬夜读书》等，为数寥寥。占有一定数量的涉及太平天国的诗篇，则表现了地主阶级的立场。
李慈铭认为“学诗之道必不能专一家限一代。凡规规摹拟者，必其才力薄弱，中无真诣”。他主张内有所蓄。同时广泛向前人学习，“汰其繁芜，取其深蕴，随物赋形，悉为我有”(《越缦堂诗话》)。他的诗大体遵循自己的主张，广采诸家之长，以写自身所遭之境，自心所生之感，创造一种“清淡平直，不炫异惊人”（陈衍《石遗室诗话》）的风格，如《自题霞川老屋图》、《舟入青浦界作》、《初夏舟出徐山村至清水闸作》等。在文章方面，李慈铭认为“文体必本韵偶”（《书凌氏廷堪校礼堂集中〈书唐文粹文后〉文后》），强调骈文之美。此外，他的词也有一些感怀身世之作。
李慈铭除经、史著述之外，刻有《越缦堂文集》12卷、《湖塘林馆骈体文》 2卷、《白华绛跗阁诗初集》10卷及《霞川花隐词》。尚有《杏花香雪斋诗二集》、《桃花圣解庵乐府》未刻。中华书局出版的《杏花香雪斋诗》10集，为吴道晋所辑。
李慈铭《越缦堂日记》 是清代很有名的日记，与《翁同龢日记》、王闿运《湘绮楼日记》、叶昌炽《缘督庐日记》齐名，并称“晚清四大日记”。早在李慈铭在世时，《越缦堂日记》就被“士友多传抄之”，同治、光绪间文人圈内甚至有“生不愿做执金吾，惟愿尽读李公书”之语。李慈铭的日记之所以倍受学界青睐，一方面固然在于李慈铭本人的名望，另一方面则是由于日记本身的内容和价值。日记文字达数百万言，对清咸丰到光绪近四十年间的朝野见闻、人物评述、名物考据、书画鉴赏、山川游历以及北京等地的社会风貌等内容均有翔实记述，足资后代学者参考借鉴；日记中记录了大量的读书札记，仿《四库全书总目》之例，撰写书籍介绍及评论，内容涉及经史百家；日记中还录有李慈铭本人的诗词、骈文作品，对于研究作者本人的文学创作颇具参考价值。胡适在他的日记中坦然承认自己重新提起写日记的兴趣是受了《越缦堂日记》的影响。当然也有人持相反的看法，鲁迅在《怎么写（夜记之一）》一文中说道：“《越缦堂日记》近来已极风行了。我看了却总觉得他每次要留给我一些很不舒服的东西。为什么呢？一是钞上谕，……二是许多墨涂，……三是早给人家看，钞，自以为一部著作了。我觉得从中看不见李慈铭的心，却时时看到一些做作”。《越缦堂日记》已列入台湾国中国文教材之一。
《越缦堂日记》的出版经过极为曲折，前后历时六十余年。1894年末，李慈铭病逝，遗留日记手稿七十余册。当时，沈曾植、缪全孙等人曾极力推动将日记付梓，曾经师事李慈铭的樊增祥“以速刻自任，索最后一盒(日记)去，卒未刻”。1919年，在蔡元培、傅增湘、王幼山、王书衡等及学界二十余人的共同捐助下，商务印书馆于1920年以《越缦堂日记》为其名影印出版了遗留六十四册日记稿的后五十一册。（内容为李慈铭1863～1889年间的日记）。《越缦堂日记》影印出版后，士林争相一睹为快，誉之为“日记之大观”、“掌故之渊薮”。鲁迅在《三闲集》中说“《越缦堂日记》近来已极风行了”就是当时日记出版后的真实写照。《越缦堂日记》出版后，蔡元培根据李慈铭的遗愿拟将剩下的十三册日记（1854～1862年间日记）进行分类节录出版，后经钱玄同倡议，仍将剩余的十三册日记按前五十一册之例于1935年由商务印书馆线装本影印出版。这便是《越缦堂日记补》。而樊增祥带走的李慈铭暮年的日记手稿（1889～1894年记）则如泥牛入海，音信全无。尽管各时期都有热心人士呼吁追寻，但始终没有下落。直到1980年才有幸被发现。这宗重见天日的手稿后由北京燕山出版社于1988年影印行世，名《郇学斋日记》共九册，至此，李慈铭日记始以完璧面世。