渐稳固，偶尔匈奴来点小股部队，也伤不了渔阳的皮毛。
这样的局面维持了将近一年，到元朔元年秋，渔阳守军不巧抓到了匈奴的一名俘虏，经过审讯，该俘虏供出匈奴大军早回了大草原，只留下小股部队。
已经紧张了近一年的韩安国松了口气，他考虑到渔阳小城，要供养如此庞大的驻军，十分吃力，他估摸着匈奴大军一时半会不会回来，因此上书朝廷，奏请将各地征召而来的材官部队送回原地，参加农忙，渔阳只需七百人的部队足矣。
刘彻基于对韩安国的信任，同意了这一请求。
然而，韩安国低估了匈奴人的智商，渔阳守军刚撤一个月，匈奴大军就如风卷残云般出现在渔阳城下。
这时的韩安国才如梦初醒，大呼中计。
事情已然如此，只能硬着头皮迎战匈奴的铁骑。
可是，匈奴毕竟人数众多，而且它的铁骑战斗力很强，很快，出城迎敌的部队就败了回来，韩安国只能下死命令守城，等待救援。
在即将城破的关头，驻守燕地的汉军闻讯而来，。匈奴得到消息，为免部队受到前后夹击，迅速移兵至雁门，同时，朝廷在收到急报之后，派卫青领兵三万奔赴雁门，李息领兵出代地。不得不提的是，卫青果然天纵将才，他又以极少的伤亡杀敌近千，打退了匈奴。
韩安国总算捡回一条老命，他本想以病为名请求告老还乡。
然而，刘彻以时下正是用人之际为由没有同意，只是将韩安国调到边患稍轻的北平驻防。
当韩安国收到刘彻的驳回诏书时，突然感到悲愤异常，他一辈子忠诚谋国，如今老了病了，想图个安静省心都这么难，皇上在诏书的意思不就等于说，韩安国，你死也要死在边疆。
韩安国乖乖地去了北平，却在不知不觉落下了心病。
元朔二年（前127年）中，老谋深算的韩安国卒于任上。