汉武帝元光六年，李广与卫青、公孙贺、公孙敖各率部一万出击匈奴。结果是，卫青大胜，而公孙敖与李广大败，几乎全军覆没。李广自己也被俘。靠着过人的勇力和胆识，夺了匈奴白马小将的马，这才逃回来。依汉律，败军之将得处死，幸好汉武帝还有一个充满人性化的补充规定，只要出得起钱，可免死罪，贬为庶人。于是，公孙敖和李广都被削职为民。这样，李广就来到离长安不远的南山闲居，在那打了两年猎。
一次无聊，李广出门找朋友喝酒，还至霸陵亭，已是深夜。巧的是，霸陵尉那晚也喝得稀里糊涂，于是大声呵斥李广。因为根据汉律，任何人不得随便在暗夜行动，否则一律治罪。随从说：
“这是故李将军。”霸陵尉也是酒壮贼胆：“在职将军尚不得夜行，何况是故的。”硬是不让他过去。李广无奈，只得屈尊在野外露宿一夜。当李广被重新起用为右北平太守时，所做的第一件事就是，“即请霸陵尉与俱，至军杀之。”李广身为将军，自然应该做将军本分的事。而他竟因一点闲气，就直取人家的性命，其无量如此，自然也就无福消受侯位。
公元前119年，李广最后一次随大将军卫青出征。本来汉武帝不准备让李广出马，一来因为李广年老，二来因为李广的运气实在太差，屡战屡败。李广软磨硬泡，终于泡来了个前将军，他也把这次行动看作封侯的最后希望。可是卫青却把本来属于李广的前将军位置，调给了对他有救命之恩的公孙敖。被调为右将军的李广，本来就窝了一肚子火，偏偏又遇上迷路失期这档子事，按律又得贬为庶人。忙活了大半辈子，出生入死，血雨腥风，到头来还是一场空。李广思来想去，觉得冤屈得很，于是选择自杀。
李广的不得封侯与自杀，和他的个性有不可分割的关系，他的心胸确实不够开阔。南宋的黄震在《黄氏日钞》中说：“凡看卫霍传，须合李广看。卫霍深入两千里，声振华夷，今看其传，不值一钱。李广每战辄北，困踬终身，今看其传，英风如在。史氏抑扬予夺之妙，岂常手可望哉。”这个评价就相当中肯。
