李陵令将士放火烧出一块隔离带，才得以自救。汉军又退到一座山下，且鞮侯单于已占领了南面的山头，命他的儿子率骑兵向李陵发起攻击。汉军步兵在树林间与匈奴骑兵拼杀，又杀匈奴兵数千人，并发连弩射击且鞮侯单于，且鞮侯单于下山退走。

这天，李陵捕得俘虏，俘虏供出：“单于说：‘这是汉朝的精兵，久攻不能拿下，却日夜向南退走把我们引到塞边，会不会有伏兵呢？’而许多当户和君长都说：‘单于亲率数万骑兵攻打数千汉朝人，却不能把他们消灭，那以后将无法再调动边臣，将使汉朝越发轻视匈奴。务必在山谷间再度猛攻，还有四五十里才到平地，不能破敌，就退回来。’”这时，汉军处境更加险恶，与匈奴骑兵整日交战，多达数十回合，使匈奴兵死伤二千余人。

在李陵的顽强抵抗下，匈奴方面损失颇重，认为不能取胜，一度准备撤走。

恰逢李陵军中有一个叫管敢的军侯，因被校尉凌辱而逃出投降了匈奴。对且鞮侯单于说：“李陵军无后援，并且箭矢已尽，只有他麾下和成安侯（韩延年）手下各八百人排在阵前，分别以黄、白二色作旗帜，应当派精锐骑兵射杀旗手，即可破阵。”且鞮侯单于得到管敢，大喜，命骑兵合力攻打汉军，边打边喊：“李陵、韩延年快降！”接着挡住去路猛烈攻打李陵。李陵处在山谷底，匈奴军在山坡上从四面射箭，矢如雨下。汉军坚持南行，未等冲到鞮汗山，一天之中五十万支箭已全部射光，便丢弃战车而去。

当时，汉军还剩下三千多名士兵，赤手空拳的就斩断车辐当武器，军吏们也只有短刀。又被一座大山所阻折入峡谷。单于切断了他们的退路，在险要处放下垒石，很多汉军士卒被砸死，不能前进。

黄昏后，李陵换上便衣独步出营，拦住左右说：“不要跟着我，大丈夫一个人去捉单于就足够了！”过了很久，李陵才回来，叹息说：“兵败至此，只求一死！”有的军吏说：“将军威震匈奴，陛下不会让您死，以后可想别的办法回去，像浞野侯虽被匈奴俘获，但后来逃回去，天子仍以礼相待，何况对将军您呢！”李陵说：“你别说了，我不死，不是壮士。”

于是李陵要部下把旌旗都砍断，把珍宝埋藏在地下。又扼腕道：“再有几十支箭，足以逃跑了，可现在无武器再战，天一亮就只有束手待擒了。不如各作鸟兽散，还可能有脱身逃回去报告天子的人。”

李陵令将士们每人拿上二升干粮，一大块冰，约定在遮虏鄣会合。夜半时分，李陵等击鼓突围，但鼓声最终未响。