秦始皇在统一六国之后，首先要面对的是怎样管理这个庞大的帝国，为此他确立“皇帝”的名号，将天下大权集于一手，设立了三公九卿的中央行政机构，把百官牢牢抓在手上。可是，地方上的行政制度要采取何种方式，却让他一时想不到好的办法。
秦始皇建立了一个空前庞大的帝国，根据司马迁在《史记·秦始皇本纪》中的记载，秦王朝的疆土向东达到大海，临近朝鲜；向西到达临洮（今甘肃省岷县）；向南至“北向户”（指秦王朝南面的疆界己达极南，太阳由北照向窗户。实际指北回归线以南，即今珠江三角洲地区）；北方则以黄河、阴山为界。这样庞大的疆域，皇帝要统治全国，实现秦王朝千秋万代的愿望，就必须想办法使政令通行全国。为了讨论实行何种制度，秦王朝内部的大臣曾经进行了两次激烈的辩论。
秦王朝建立之初，为了确立在地方上的行政制度，秦始皇很愿意倾听群臣的意见，为此他多次召集大臣，在廷议的时候就这个问题进行商讨。大臣在这个问题上形成了两种截然不同的意见：一派以丞相王绾为代表，建议延续古代的政策，分封诸侯；一派由廷尉李斯为代表，坚决反对分封，主张采用郡县制。两派各持己见，互不相让。
王绾向秦始皇建议说：“诸侯初破，燕、齐、荆地远，不为置王，毋以镇之。请立诸子，唯上幸许。”王绾认为，国家才刚刚建立，诸侯也才失败不久，政局还很不稳定，燕、齐、楚国的领土距离都城咸阳比较遥远，如果不分封同姓子孙到各地当诸侯王，恐怕没有办法治理好这些地方。王绾的建议实际上是沿袭西周“封亲建戚，以藩屏周”的理论，要在新建立的秦帝国内部的部分地方恢复西周的分封制。
大臣都表示赞同王绾的意见，只有李斯提出异议。他说，周文王和周武王分封了许多亲戚到各地当诸侯王，想要加强对地方的控制，巩固中央的统治，可是没想到后来这些诸侯国的势力发展起来之后，却与周王室的关系越来越疏远，彼此之间为了利益互相攻伐，连周天子也制止不了。由此可见，分封制正是东周各国混战的根源。现在，全靠陛下的雄才武略和英明决断，才实现了统一，如果遵循古礼采用分封制的话，过不了多久，大秦王朝就会像周王室那样分崩离析。而采用郡县制则不会有这样的情况发生，权力都归于皇帝，不会出现诸侯国征战的局面。对于皇子和功臣，只要赏赐给他们丰厚的待遇，就可以稳定他们的内心了。这样一来，就可以实现战火不起，海内升平了。李斯建议把全国的疆土全部划成郡县，分为若干个级次不同的行政区域，由朝廷首接统治。
秦始皇听了他们的辩论之后，支持了李斯的意见，他说，“天下共苦，战斗不休，以有侯王。赖宗庙，天下初定，又复立国，是树兵也，而求其宁息，岂不难哉！”他说，天下苦战不休，都是因为诸侯国的存在，现在天下刚刚平定，就再次分封，是埋下战乱的种子，等到诸侯国势力起来了，再想平息战乱，哪里还会那么容易。司马迁在《史记·李斯列传》中也肯定了李斯在否定分封推行郡县上所起的作用，“使秦无尺土之封，不立子弟为王、功臣为诸侯者”，是为了避免日后可能会出现的战乱。
在这次讨论之后，秦始皇在全国推行郡县制，据《史记·秦始皇本纪》记述：“分天下以为三十六郡。”他说秦朝当时设立了三十六个郡，但由于年代久远，具体是哪些郡，前人和今人多有争议。在这个问题上，清代学者全祖望在《汉书·地理志稽疑》中的考据比较有代表性，得到众多学者的支持。他在书中对秦郡的描述是：
内史，负责管辖都城咸阳附近的县，不在三十六郡的范围内。
陇西、北地、上郡、汉中、蜀郡、巴郡、邯郸、钜鹿、太原、上党、雁门、代郡、云中、河东、东郡、砀郡、三川、颍川、南郡、黔中、南阳、长沙、楚郡、九江、泗水、薛郡、东海、会稽、齐郡、琅邪、广阳、渔阳、上谷、右北平、辽西、辽东。以上为秦始皇二十六年所设置的三十六郡。
南海、桂林、象郡，是秦始皇二十三年（前224）南平百越后设置的三郡。
九原，是秦始皇三十三年（公元前214）派蒙恬征伐匈奴，收回河西西十余县后设置的，但具体时间不明确。
闻中郡，是秦始皇设置的，具体时间不详。
据此，秦郡最后一共有西十二个（包括内史）。郡的下级行政单位是县，难以考据秦县到底有多少个，但可以肯定的是，由于每个县之间的范围大小和人口数量多少都不一样，所以每个郡所管辖县的数量是不一样的。
郡县制是中国历史上第一个完整的行政区划系统，是中国行政制度上的一个划时代的大事件。郡县制下的郡守和县令都是由皇帝首接任免，从而使君主有效地加强了中央集权，有利于政治安定和经济发展。它结束了商周以来一首实行的分封制，避免了诸侯割据、互相攻伐的混乱局面。郡县制对后世有着深远的影响，它奠定了中国古代行政区划的基础。后来的历朝历代虽然在名称和细节上有一些改动，但是从类型上看，它们都是郡县制的变体。因此可以说，中国历史上的行政区划，是从秦始皇推行郡县制开始的。
