这场战争持续了一年，打得很艰难，也很激烈。公元前111年冬，楼船将军杨仆率领精兵，抢先攻下寻峡，然后攻破番禺城北的石门，缴获了南越的战船和粮食，乘机向南推进，挫败南越国的先头部队，率领数万大军等候伏波将军路博德的军队。路博德率领的是一队特赦的囚犯，兵力相对来说比较弱，一路折腾到会师地点就剩一千多人，于是一同进军。杨仆率军队在前边，一直攻到番禺，赵建德和吕嘉都在城中固守。
楼船将军杨仆选择有利的地形，将军队驻扎在番禺的东南面。天黑之后，杨仆率兵攻进番禺城，放火烧城。伏波将军路博德则在城西北安营扎寨，派使者招降南越人，南越人久闻伏波将军路博德的威名，于是纷纷投奔路博德的旗下。黎明时分，城中的南越守军大部分已向路博德投降。吕嘉和赵建德见形势不妙，在天亮之前率领几百名部下出逃，乘船沿海往西而去。路博德派兵追捕，最后，生擒皇帝赵建德和宰相吕嘉，然后统统处死。
南越国属下各郡县包括苍梧王赵光、桂林郡监居翁、揭阳县令等纷纷向汉朝投降。戈船将军和下厉将军的军队，以及驰义侯调动的夜郎军队还未到达，南越已经被平定了。平定南越后，汉武帝将原来的南越国分为九个郡，直接归属汉朝。这样，由赵佗创立的南越国经过九十三年、五代南越王之后，终于被汉朝消灭了。