秦始皇在统一六国的过程中就有出兵百越的打算，只是当时中原战事尚未完全结束，秦军还不能向这个地区投入太大的精力，部分军队己开到南部边境做战争准备。灭楚之后，秦国没有了后顾之忧，很快降服了居住在浙江一带的越族，建置会稽郡。接着于统一六国的当年，征服了居住在今温州一带的东瓯和今福建境内的闽越，设置闽中郡。
“百越”这个概念是相当宽泛的，指的是秦汉时期中原人对长江中下游及其以南地区所有种族的泛称，泛指分布于今苏、浙、沪、皖、鄂、湘、赣、闽、粤、港、澳、桂、琼等地的所有种族，因种族众多，因此称为“百越”。“百越”这个名称可以追溯到战国以前，这些民族与中原的华夏民族在生活习惯上有很大的区别，多以部族的形式出现，所以称为“百越”。
东越也称瓯越，位于现在浙江的南部地区，主要以温州为中心。
闽越主要在福建地区，以福州为中心。
南越在岭南地区，包括现在的广东、广西及越南等地，秦灭亡后南海郡尉赵佗建立南越国，后被汉武帝所灭。
西瓯在广西地区。
雒越主要分布在越南北部。
浙江一带的部族，以绍兴为中心。春秋末年，著名的越王勾践灭吴国，越国的实力达到鼎盛，势力范围一度北达齐鲁，南入闽台，东濒东海，西达淮上、赣鄱，雄踞东南，而勾践本人也被称为春秋五霸之一。战国时，越国势力衰弱，公元前306年，被楚国打败，就成了楚国的领地。一部分越人逃到福建，有的甚至流落到了越南。
这些地区的社会状况在当时发展得较慢，落后于中原地区，而且各民族之间的社会发展程度也不相同，大多数刚刚由原始社会进入奴隶社会。其首领一般都称“君长”。当时土地公有制己开始向私有制转化，但耕作方式仍相当落后，人们的思想观念及生活习俗也是很原始的。百越诸民族之间无法用各自的语言交流，交往需要借助当时影响面比较广的汉民族语言，今天中国南方很多少数民族的语言仍然保留着诸多汉朝官话的影子。
他们与中原地区的华夏民族在文化上也有很大的差异，有其独特的传统，比如断发、文身、契臂、食异物、巢居、使舟和铜器。在服装上与中原民族也不同。
秦始皇统一天下之前，这些民族与中原人的交流很少，当秦军到达南方后，遭到了抵抗。秦始皇二十五年（前222），秦始皇在平定楚国之后，命屠睢率领五十万大军出兵百越。
屠睢兵分五路，第一路军向广西和湖南交界的谭城之岭（今越城岭）开进，首逼湘桂地区的可达西瓦族聚居地；第二路军攻占九崇山，之后向西推进；第三路军越过北江，攻打番禺；第西路军先攻占南岭，然后增援第三路军；第五路军向余干（今江西信江）集结，以牵制东瓯，孤立南越。
一场空前的“百越”战争终于爆发了。秦始皇要彻底消灭南方诸地，要在一年之内把百越平定。屠睢是一位智勇双全的战将，他在秦楚战争中指挥有方，颇得秦始皇赞赏。队伍马不停蹄向前开进，几十天后己到达“百越”的边境。这时候他们遇到了困难，山路崎岖，大部队很难顺利通过，战车和马匹成了负担。屠睢命令队伍就地安营扎寨，就这样又向前走了三天。
秦军虽然骁勇善战，但是百越之地山高水长，交通不便，秦军的后勤粮饷很难送达。秦军第一路进展顺利，出兵当年就平定了东瓯和闽越地区，设置了闽中郡。其余西路由于山高路险，河道纵横，行军作战及军粮运输极为困难，加之百越各部的顽强抵抗，相持三年未能取胜。
百越军出战的总人数史料没有提及，但当时的百越之地基本上都是蛮荒之地，原始森林密布，生存环境恶劣，能出战的越人估计只有秦军的十分之一。秦军五十万大军虽然在兵力和装备上都占绝对优势，但是艰苦的环境令秦军感到了从未有过的压力。秦军大部分都是西北人，不适应南方炎热的气候，在征战时军队里瘟疫横行，部队的战斗力大打折扣。百越军以西瓯军为主力，在首领译吁宋的率领下顽强抵抗，与秦军进行了惨烈的激战，秦军举步维艰，迟迟不能进入越地。在译吁宋战死后，百越军又马上另选了新的首领，并全线退入山地丛林与秦军继续作战。百越军甚至不惜与野兽为伍，宁死不降，他们采取偷袭的方式，切断秦军粮道，使秦军的处境更加艰难。
屠睢对待百越军的政策是残酷镇压，全部杀死，更激起了百越军的愤怒。秦始皇二十九年（前218），百越军发起反击，秦军大败。根据《淮南子》记载，秦兵“伏尸流血数十万”，而秦军总指挥官屠睢也在现在的广西桂林一带被杀死，战争进入相持状态。
