渡过大河不久霍去病的部队就进入了贺兰山，进入山区后气温骤降。
贺兰山脉位于今宁夏回族自治区与内蒙古自治区交界处，山势雄伟，若群马奔腾。贺兰山脉为近南北走向，绵延200多公里，宽约30公里，是中国西北地区的重要地理界线。贺兰山山间有数个东西走向的山谷，著名者有贺兰口、苏峪口、三关口、拜寺口等，自古以来就是东西交通要道。相传大禹治水时，曾经劈开贺兰山，引黄河水北流。
霍去病率领部队是从三关口进入贺兰山的。三关口又称赤木口，位于贺兰山中部，这里的山脉蜿蜒曲折，地形雄奇险峻。原两山夹峙的山坳中，建有关隘。关口地势十分开阔，是“缓口可容百马”之处。往西行过二道关顺路向西，山谷渐趋狭窄，约五里后，便仅为两壁相夹一道，十分险要，颇有“一夫当关，万夫莫开”之势。三关口自古即为阿拉善高原进入宁夏平原的重要通道，关口内山势森然陡峭，道路蜿蜒崎岖，峡谷中峭壁林立峰回路转，实乃西去大漠之咽喉要道之一。
霍去病的一万五千骠骑军的到来撕碎了三关口的宁静，但是因为道路曲折崎岖难行，行进的速度很慢，很多地方需要牵马而过。霍去病虽然焦急但是也不得不传令小心翼翼的行进，避免人马伤损，大约行进了二十里就已经耗时两个时辰了，而且人困马乏。霍去病传令原地休息片刻，骑兵们纷纷下马歇息，过了半个时辰霍去病传令起兵出发，刚走了数百米天色骤然暗了下来，接着一声炸雷响下起了瓢泼大雨。
贺兰山深居内陆，屹立于广阔的干旱草原和荒漠区中，具有典型的大陆性气候特征。全年干燥少雨，寒暑变化强烈，降水的年内分配也极不均匀，全年降水量的60-80%集中在6-8月份，暴雨期常常出现洪水，一般是历时短，来势急，奔腾时极为迅猛、恐怖。
尽管出征前对此已经有了一定的预防，但是面对如此急剧的变化骠骑军仍然显得猝不及防，雨水像是从天上往下倾盆而泄似的，防雨用具还没打开就已经全湿了，士兵们索性任其雨打风吹，只是紧紧的拉住战马，霍去病和几个校尉组织部队急忙往高处转移以躲避可能袭来的洪水，部队还没有完全转移至高处前方便隐隐传来隆隆的低吼声，好像万马齐喑好像闷雷滚滚，转瞬间铺天盖地的洪水决堤一样的夹裹着泥沙碎石、树枝灌木等迎面冲砸扑来，只几分钟的时间洪水便已经齐腰深了，有少量未来得及转移到高处的士兵连同战马一起被冲的无影无踪了，高处的战士只能恐惧而痴呆的听着他们绝望的哀嚎而摇头叹息伤心落泪。正是：闯三关出师不利，踏大漠一路雄风。欲知后事下文说。