告，认为李广年老，命运不好，不让他与单于对阵，恐不能实现俘获单于的愿望。
当时公孙敖刚刚丢掉了侯爵任中将军，随卫青出征，卫青也想让公孙敖跟自己一起与单于对敌，故意把李广调开。
李广也知道内情，所以坚决要求卫青改调令，卫青不答应，命令长史写文书发到李广的幕府，对他说：“赶快到右将军部队中去，照文书上写的办。”
李广不向卫青告辞就启程了，心中非常恼怒地前往军部，领兵与赵食其合兵后从东路出发。
军队没有向导，有时迷路，结果落在卫青之后，卫青与单于交战，单于逃跑，卫青没能活捉单于只好收兵。
卫青南行渡过沙漠，才遇到李广与赵食其的军队。李广谒见大将军后回自己军中。
卫青派长史送给李广干粮和酒，顺便向李广、赵食其询问迷路情况，卫青要给汉武帝上书报告军情。李广没有回答。
卫青派长史急令李广幕府人员前去受审对质。李广说：“校尉们无罪，是我迷失道路，我现亲自到大将军幕府去受审对质。”
到大将军幕府，李广对他的部下说：“我从少年起与匈奴作战七十多次，如今有幸随大将军出征同单于军队交战，可是大将军又调我的部队走迂回绕远的路，偏偏迷路，难道不是天意吗？况且我已六十多岁，毕竟不能再受那些刀笔吏的污辱。”于是就拔刀自刎了。
李广军中将士都为之痛哭。百姓听到这个消息，不论认识李广否，不论老少都为之落泪。
李广死时，他长子李当户、次子李椒都已经过世，仅留下幼子李敢。
李敢当时是霍去病的部下，因立有战功被封为关内侯，听说父亲死讯，认为是卫青任意调离李广，因此打伤卫青。
卫青隐藏了李敢的打人不法行为，但卫青的外甥霍去病却不能接受部属殴打自己舅舅，后来在甘泉宫狩猎时射杀了李敢。
李广的孙子李陵，爱士卒。天子以为李氏世将，李广墓而使将八百骑。
尝深入匈奴二千余里，过居延视地形，无所见虏而还。
拜为骑都尉，将丹阳楚人五千人，教射酒泉、张掖以屯卫胡。
数岁，天汉二年秋，贰师将军李广利将三万骑击匈奴右贤王于祁连天山，而使李陵将其射士步兵五千人出居延北可千余里，欲以分匈奴兵，毋令专走贰师也。
李陵既至期还，而单于以兵八万围击李陵军。
李陵军五千人，兵矢既尽，士死者过
…。。