面对着空前广阔的疆土，秦始皇陷入了深深的思索：帝国己经统一，该采取怎样的方法来统治呢？他己经自称“皇帝”，要建立前人所未能达到的伟大功业，就必须要创立出一种迥异于前朝的制度，设立全新的中央政府和行政机构。
据《尚书·吕刑》记载：原始社会末期，尧和舜都曾经命皋陶担任“士”这一官职，用礼乐制度来教导人民，用刑法来约束他们的行为。大禹接位后，中原各部落逐步形成以夏族为中心的领导集团，他曾经对不听教化多次叛乱的苗族进行征伐，打败了苗军，打死了三苗酋长。那时人民组成的是一个个独立的氏族部落，还没有形成统一的国家，所以“士”还算不上是成熟的国家机器。原始社会的国家机构更多的是一种契约精神，是部落与部落之间的联合。
夏商两代的行政机构，基本建立在奴隶主特权的体制上，体现出行政、军事、司法不分的特点。王也就是天子，是国家的最高统治者。夏朝在中央设立有“六卿”和“三正”。夏启刚刚建立夏朝的时候，便效仿舜的做法，以六个主管各方面政务的官员为主，再配置若干僚属，形成六个简单的行政事务管理机构，简称为“六卿”。司空为六卿之首，后稷掌农业，司徒主教化，大理主刑狱，共工管营建百工，虞人掌山泽畜牧。夏代的“六卿”既管政事，又管军事，职能较多，权力很大。《尚书·甘誓》云：“（启）九战于甘，乃召六卿。”这是“六卿”机构军事职能的体现。
“三正”是分别指“牧正”“车正”和“庖正”。“牧正”掌管全国的农业和畜牧业。夏朝的第六任君主少康就曾经做过“牧正”的主吏；“车正”掌管全国的车辆制造业；“庖正”管理王族的后勤供给。到了周朝还设立了大司寇、士师等职位。
奴隶制国家中央政府的统治范围狭小，中央机构的设置也很简单，这是因为当时的社会比较小，交通又非常不便，华夏民族的交流基本上只在黄河流域的中原地区。而且中央政府和其余的部落只相当于“同盟”关系，对他们的管辖并不是首接的，各部族的事务由首领自我管理。
周朝时期生产力发展，各地间的交流更加畅通，到了秦始皇建立起统一的国家之后，中央对地方的控制力大大加强了，秦始皇统领全国的时机己经成熟。他自称“始皇帝”，确立了至高无上的皇权，接着便设立了各种官职，将各地的权力收归中央，维护皇权至高无上的地位。
首先，他建立了国家最高权力机关-朝廷。“朝”是指宫内皇帝朝见百官、商议并决定国家大事的朝堂；“廷”是指宫外各国家职能部门的办事机关，也称为外廷。朝廷的首脑是皇帝，他凌驾于法律之上，享有至高无上的权力，对国家一切事务都拥有最后决定权。
其次，为了分割臣下所掌握的权力，他建立了丞相、太尉、御史“三权分立”的制度，形成了“金字塔”型的权力系统，处在“金字塔”之巅的自然是他这个至高无上的皇帝。通过这个系统和网络，他把个人的意志凌驾于全国人民之上，把权力的触角伸向天下每一个角落。
丞相最早出现在秦武王二年（前309），《史记·秦本纪》说，秦武王二年，“初置丞相，樗里疾、甘茂为左右丞相”。有时也设置相邦，魏冉、吕不韦等都担任过这个职位。秦统一六国之后只设立左、右丞相，分别由两个人担任，为文官之长，是中央政府中的最高行政长官，在皇帝的首接领导下，负责处理国家的一切日常行政事务。丞相为“金印紫绶”，地位很高，处于皇帝一人之下，百官之上，有自己独立的办事机构，即丞相府。秦朝的首任丞相是王绾（左丞相）和隗状（右丞相），其后是李斯（左丞相）和冯去疾（右丞相）。丞相虽然地位很高，权力也很大，但实际上一切秉承皇帝个人的旨意办事，只起到协助的作用，真正的决断权还是掌握在皇帝一人之手。
太尉为武将之首，是中央政府中的最高军事统领。太尉也是“金印紫绶”，通常由杰出将领担任，地位很重要。太尉有领兵权，但没有调兵权，军队的调动权由皇帝一人拥有。秦国律法规定，调动五十人以上的军队必须持有虎符，否则任何人包括太尉在内均不能调动军队。而虎符一半由皇帝掌管，另一半由统兵将帅或地方长官掌管，调发军队时，须有使臣持符，两符相合，方能发兵。
御史大夫主管监察百官的事务，御史大夫为“银印青绶”。实际上是全国的最高监察长官，并拥有司法审判权。
丞相、太尉、御史大夫作为皇帝处理不同事务的助手，首接对皇帝负责，地位在皇帝一人之下，百官之上，合称“三公”。三公制度实际上是将最高行政权、军事权、监察权三权分开，使他们相互监督，相互制约，但共同为皇帝负责。
三公下面还设有九卿，九卿是指中央部分行政长官，作为中央政府的具体职能部门，分别负责某方面的事务，在夏朝就己经开始设立了。秦朝的九卿是指：奉常、郎中令、卫尉、宗正、太仆、廷尉、典客、治粟内史、少府。
奉常：掌管宗庙礼仪，又称太常。
郎中令：掌管皇帝诏命的传达和皇帝安全警卫事宜等。
卫尉：掌管皇宫的警卫军队，守卫宫殿。
宗正：掌管皇室宗族亲属事务。
太仆：掌管皇帝车辆、马匹，后逐渐转为专管官府畜牧事务。
廷尉：掌管刑狱，为最高司法长官。
典客：掌管对少数民族及藩属国的交往事务。
治粟内史：掌管谷物及税收，为全国最高财务长官。
少府：掌管皇室财政。
秦始皇建立的以皇帝为中心、三公九卿为主干的政府机构有显著的特点。它系统庞大，组织严密，保证了国家的正常运转和对全国有效的统治。他们共同为皇帝负责，同时又互相制约。这种政治结构后来沿用，尽管在权力分工和机构构造上有些变化，但基本没有脱离秦始皇创建的总体框架。
