秦始皇三十三年，秦始皇完成平定岭南的大业，在岭南设立了南海郡、桂林郡、象郡三郡，任器被委任为南海郡尉。由于任嚣是首任南海郡尉，同时节制岭南南海、象郡、桂林三郡，故称“东南一尉”。南海郡下设博罗、龙川、番禺、揭阳西县，赵佗被委任为龙川县令。
南海郡主要包括广东的旧广州、韶州、潮州、惠州、肇庆、南雄诸府州，以及高州府北境、广西旧平乐府东境、梧州府东南境，郡治在番禺（今天广东省东南部），汉朝的时候也把郡治设在这里。当时任嚣在今仓边路附近修筑番禺城，史称“任嚣城”（广州之始）。秦汉时期南海郡的行政管辖范围北至观坪石，东至福建的漳浦附近，西至湛江，面积约14万平方千米。
桂林郡位置约在今广西一带，面积达20万平方千米以上。境内有许多桂树，所以取名桂林郡。桂林郡的行政中心设于布山县（今桂平市西南，根据最新的资料也有可能在来宾市象州县罗秀镇的军田村）。秦朝末年在南越朝的管辖范围内，到了西汉武帝时期，南越国发生内乱，汉武帝派路博德率军南下，第二年南越灭亡，改置郁林郡，郡治仍为布山县。统辖布山、安广、河林、广都、中留、桂林、谭中、临尘、定周、领方、增食、雍鸡等县。即现在南宁、百色及柳州大部分地区，玉林北部地区，河池东部和南部地区。三国时，孙吴分郁林郡置于桂林郡，郡名即以秦朝桂林郡来命名。到了三国时代的末期，吴国最后一个皇帝孙皓于公元前274年，分郁林郡为潭中、中留、桂林及武安西县置桂林郡，治所设于武安，辖境在今柳江流域（今广西象州、柳州一带）。
象郡的管辖范围在今天的广西西部和越南中北部，近现代有关象郡位置素有争议，一说是在今日广西与广东雷州半岛，面积达10万平方千米以上；一说则指象郡包含了越南境内的北圻和中圻，面积广达30万平方千米以上。《汉书·地理志下》称汉代的日南郡（今越南中部）就是“故秦象郡”。不过南越国被汉朝所灭后，关于汉武帝是否继续在原处复设郡县，人们的意见就不统一了。
三郡在秦始皇时期还比较稳定，受秦朝中央政府的管辖。秦始皇三十七年（前210），秦始皇病死于沙丘平台，秦二世即位。公元前209年，秦朝的暴政激起了陈胜、吴广等人的起义，虽然农民起义很快就被扑灭了，但六国的遗民也趁势而起，接着就是刘邦和项羽之间的楚汉相争，中原陷入了一片混乱状态，任嚣处于边境地区，犹豫不决。公元前208年，南海郡尉任嚣病重，他临死前把时任龙川县令的赵佗召来，对他说：“始皇帝残暴，天下苍生遭受痛苦的时间实在太长了，而秦二世竟更加荒淫无道，宠信赵高，大肆诛杀功臣，我等就算回去救国，恐怕最终也难免一死，而六国之人也不一定会放过我们这些秦朝将领，干脆不要回去。南海郡傍山靠海，有险可据，是很好的地形，可以在这里建立国家，以抵抗中原各起义军队的侵犯。况且这里远离中原千里之外，无论是秦军还是叛军一时之间都无法打到这里来。”他当即向赵佗颁布任命文书，让赵佗代行南海郡尉的职务。不久，任嚣病亡。任嚣在当地做了许多实事，赵佗对他很敬重，于是将他厚葬，并在他的墓旁建了一所庙宇。接下来，赵佗向南岭各关口的军队传达了据险防守的指令，防止中原的起义军进犯，并借机杀了秦朝安置在南海郡的官吏，换上自己的亲信。公元前203年，赵佗起兵兼并桂林郡和象郡，树起大旗建立南越国，自称“南越武王”。越南人把南越国称作赵朝，也称前赵朝。
中原群雄在争夺天下的过程中，都没有精力去管百越地区的秦军。首到刘邦建立汉朝，那时候的中原大地刚刚经受战火的摧残，无力征伐，于是刘邦转而采用怀柔的政策。公元前196年，汉高祖刘邦派遣大夫陆贾出使南越，劝赵佗归汉。陆贾早年追随刘邦，能言善辩，经常出使诸侯。他刚到南越的时候，赵佗对他非常不礼貌。陆贾便拿着赵佗的中原人出身说事，斥责他忘本、不讲礼仪，随后结合楚汉之争的历史，指出南越和汉朝实力上的强弱悬殊，晓以情理，迫使赵佗谢罪。
赵佗问他：“我和萧何、曹参、韩信相比谁更高明？”陆贾回答赵佗似乎更高明。赵佗很高兴，又拿自己和刘邦进行比较，陆贾非常明确地对他说：“汉王远胜于你。”赵佗本己听说过刘邦的大名，所以没有恼怒，反而对陆贾的说辞非常满意，愿意接受汉朝给南越王的封号，对汉称臣，并留陆贾宴饮数月。陆贾回朝汇报，刘邦非常满意，任为太中大夫。在陆贾劝说下，南越国成为汉朝的一个藩属国。此后，南越国和汉朝互派使者，互相通市，刘邦成功地通过和平的方式使得赵佗归顺，没有成为汉朝南边的敌对势力。刘邦死后，吕后掌权，汉朝和南越国交恶，双方僵持着，互有胜负。
公元前112年秋，南越国的丞相吕嘉杀死南越王赵兴，同时也将汉朝在南越国的使者队伍共两千余人全部杀死。汉武帝得知后，非常震怒，于是调遣十万大军，命伏波将军路博德兵分五路进攻南越。这场战争十分激烈，持续了一年，才将南越国最终击败，俘虏了吕嘉。
汉武帝在平定南越后，将原来的南越国属地设置了九个郡，首接归属汉朝。这样，由赵佗创立的南越国经过93年，五代南越王之后，最终灭亡了。
