秦军在进军百越的时候，兵分五路，其中第三路军由主帅屠睢亲自率领，赵佗为副将，从今长沙宜章南下。屠睢对抵抗的人大开杀戒，引起当地的怨愤。秦始皇三十三年，当屠睢来到西江畔的三罗地域（今乐昌曲江一带）时，途经一片大树林，埋伏在那里的百越军乱箭齐发。屠睢身中两支毒箭，从马背跌落，当场死亡。
秦军失去统帅，顿时大乱，被射杀了许多。秦军水土不服，再加上山路难行，后勤给养不便，几乎快要全军覆没。迫使秦军“宿兵无用之地，进而不得退”，惶恐不可终日，以致“三年不解甲弛弩，使监禄无以转饷”，双方一首处于相持对抗的局面，损失都很惨重。根据学术界的讨论，秦军的阵亡人数在三十万上下，剩下的二十万人后来全部退到两广的北部边界一带；百越军的伤亡同样十分惨重，再也没有力量继续发动进攻，双方形成了对峙局面，持续了三年时间。
秦军第一次出征百越，无论是人数还是武器装备都要远远优于百越军，却遭到惨败，最重要的一个原因是山路艰险，粮草没有得到有效的补给。为了尽速征服岭南，秦始皇下令开凿水渠，用水渠作为运粮线路。此项艰巨的任务，由监察御史史禄和三位石匠负责。史禄认为广西兴安附近是湘江、漓江的交界处，适合修渠。秦始皇同意了他的建议。
在史禄的主持下，经过秦军与戍发百姓的艰苦劳动，几经寒暑，终于成功开凿了灵渠。秦军的粮草可以从湘江用船运来，通过灵渠进入漓江，源源不断地送至前线，为完成统一事业作出了重要贡献。
秦瓯战争，实际上是秦王朝与整个百越民族的战争，秦军在第一次出战期间，没有做好战前准备和后勤工作，秦军大肆杀伐的政策也激起了当地人民的反抗。秦军虽然占领了广阔的领土，却没有完全掌握该地区，百越军的反抗从未停止，甚至杀死了秦军的统兵大将。等到灵渠修建完成之后，秦始皇再次派军出征，以任嚣为主将。
任嚣到任之后，立即调动一切力量开通道路。秦始皇心里清楚，前线将士的力量有限，不能在对抗百越军的同时消耗过多的力量，要完成这些工程需要更多的人力、物力，于是他下令向百越地区移民，帮助军队巩固边疆的胜利果实，同时这些移民还可以参加道路建设。据史料记载，当时秦军在岭南开通的道路主要有西条。
第一条道路从现在的江西南康开始，途经广西东南部的雄美小梅关，再沿淡水西行，到达番高。主要关隘有横浦关，也称秦关。这是一条连接南北的主要交通要道，在军事上有十分重要的战略意义。横浦关、阳山关和湟溪关是秦汉时期岭南与岭北交通线上著名的三大关隘，在汉朝的时候毁弃，相当长的一段时期内没有文字记载，尚未发现遗址。
第二条道路从广东阳山西北部起，主要关隘有阳山关。这条道路是在原有道路的基础上进行了加宽处理，同样具有十分重要的战略意义。
第三条道路越过桂岭，桂岭地处今天广西壮族自治区贺州市八步区，北接湖南，东连广东。
第西条道路从湖南零陵西南开始，终点在象郡。
这西条交通干线开通之后，秦军己基本上巩固了对“百越”的统治。秦始皇三十三年，秦始皇在灵渠粮道和西条山道全面开通之后，迅速补足了粮草，征集“诸尝逋亡人、赘婿、贾人为兵”，也就是那些逃亡的囚犯和商人，总数近十万，加上之前留在当地驻守的二十万秦军部队，向百越军发动了最后的总攻。这时的百越军己经没有多少残余力量了，秦军几乎未遇到大的抵抗就占领了全部地区。许多野史说百越军当时只残存数千人而己，可以看出经过秦军的扫荡和几年的武装对峙，百越的几万人马早就消耗殆尽了。
赵佗汲取了屠睢残杀越人的教训，首先推行“和辑百越”的民族亲和政策，团结越族部落，逐渐和越人实现和解，得到越人的拥戴。通过前后数年的战争，秦始皇终于征服了百越地区，建置了南海、桂林、象三郡。之后秦始皇又开始实施开发南部的计划，将大批中原地区的农民和罪犯发配到那里，一起开发这片土地。随着中原人民的到来，过去一首处于落后、贫穷状态的南部有了很大的发展。
秦始皇统一百越，在客观上有利于民族融合和当地的发展。在统一过程中，秦始皇派遣数十万内地人民到南方去戍守，把中原地区先进的生产力带到了南方，促进了当地的发展。在开发百越地区的过程中，修通了道路和灵渠，使长江水系同珠江水系连接起来，对中原地区同南方、西南的经济文化交流起了重要的作用。但是多年的对抗也造成了巨大的伤亡，更别提物质上的损耗了，秦始皇的多次征战，使各地民不聊生，成为农民起义爆发的一个诱因。
