秦王政在秘密追查嫪毐“官闱秽事”的时候，案情己牵连相国吕不韦，传说他和太后赵姬长期维持着秘密的情人关系，更有人怀疑吕不韦就是秦王政的亲生父亲。嫪毐是在吕不韦的密谋之下入宫侍奉太后的，他的权势日增，事实上得到了相国吕不韦的庇护，所以吕不韦有无法推卸的罪责。当秦王政得知事情的全部真相之后，对吕不韦十分恼怒。
与嫪毐不同，吕不韦不仅是一位出色的大商人，在秦国执政多年的政绩表明，他也是一位了不起的政治家。在秦王政面前，吕不韦知道收敛，知道检点自己的言行。因此，吕不韦在秦王政的心目中，一首是尊敬的“仲父”。但秦王政年龄渐长，需要专政，而朝政却把持在吕不韦的手中，二人之间存在着无法调和的矛盾。
吕不韦与嫪毐一案有牵连的大量事实，对秦王政的刺激太大了，昔日的“仲父”竟是他生母的情夫。这对于个性很强的赢政来说，是无法容忍的。特别是嫪毐集团的叛乱，更加大了秦王处理吕不韦的决心，嫪毐只是一个长信侯，尚且会反叛，吕不韦权倾朝野，如果也举兵逼宫，鹿死谁手还未可知。
而吕不韦主持编著的《吕氏春秋》，也成了加速其倒台的推进剂。嬴政心存不满，新编的史书，为何不冠以秦国录籍之称，却要署上吕氏的名字？这分明是吕不韦不满足于辅政大臣的位子，是对王权的挑战和示威。
秦王政在平息嫪毐叛乱后，何尝不想连他也一起除掉。史书记载：秦王政考虑到吕不韦侍奉先王功劳巨大，又有众多的宾客为他游说，不忍杀他。实质上是因为吕不韦集团在秦国执政十二年，在当时具有非常庞大的势力，门客辩士为他游说便可以证明这一点。秦王政不是不想除掉吕不韦，而是时机还不成熟，绝不是因为对吕不韦心怀感恩，不忍心对他下手。
秦王政十年十月，当秦王政的统治地位稍加巩固的时候，便下令免除吕不韦的相国职务，令他回到河南洛阳的封地，正式剥夺了他在秦国把持了长达十二年之久的军政大权。
吕不韦在秦庄襄王元年（前249）率兵灭东周，可能正是与此有关，吕不韦得到河南洛阳十万户的租税，“食河南洛阳十万户”，或者说“封君河南，食十万户”。在吕不韦回到河南封地后的一年多时间里，列国诸侯的门客仍然频繁来到洛阳，纷纷向他献殷勤。而咸阳城更似乎变成了吕城，从早到晚，上自王公大臣，下至贩夫走卒，人们谈论的都是吕不韦。还有许多人日夜不停地为吕不韦说情，企图使吕不韦回到咸阳重新执掌国政。为吕不韦说情的门客穿梭于洛阳与咸阳之间，人数之多，令人吃惊，即所谓“文信侯就国河南，岁余，诸侯宾客使者相望于道，请文信侯”。
秦王政对这种现象颇为警觉，感受到吕不韦势力的存在构成了对王权的严重威胁，还惧怕他可能在洛阳召集势力，拥兵反叛。吕不韦的势力，让赢政如芒刺在背，不得安宁，“恐其为变”，便正式赐书，命蒙武连夜送给吕不韦，作为对门客的正面回应。他在赐书中首接质问吕不韦：“君何功于秦，封君河南，食十万户？君何亲于秦，号称仲父？”与此同时，秦王下令将吕不韦及其家属迁徙蜀地。
吕不韦面对秦王的指责十分心寒，他曾经为了这个家族谋权夺位，费尽心机，又竭心尽力为秦国开疆拓土，但是在大王的心中，自己和王族的特殊关系，为国家做出的伟大功绩，都己经被否定，甚至被当作反叛的可能。
吕不韦在灯下看完书信，一声叹息，问蒙武：“大王命臣迁蜀，以何为期？”
蒙武回道：“大王命你尽速启程，希望君侯善以自处。”
面对秦王政赐书中的质问和举家迁蜀的命令，吕不韦终于从抱有一丝幻想中省悟：自嫪毐败亡以来，秦王采取的是步步紧逼的策略，自己的实力己经被逐渐削减，无可挽回，等待自己的可能只有极刑。吕不韦拿定了主意，不愿意再承受秦王对自己的折磨与羞辱，与其被诛杀，不如自尽而死，便饮下鸩酒而死。
在战国末期的历史风云中，吕不韦本来只是卫国的一位大商人。在经商的过程中，他屡次抓住机会，在邯郸见到秦国人质异人，于是决定从事政治上的投机。从他所策划的华阳立嗣、邯郸献女、出任相国、号称仲父、受封河南乃至献嫪毐于太后，步步都在计划之中。然而他所不能处理的，是相位与王权之间的冲突，更没有料到嫪毐的败亡，首接成为自己被罢官的导火线。至于吕不韦在秦国执政期间的政绩，是秦人有目共睹的，而他所主持编纂的《吕氏春秋》是他为未来秦帝国所设计的政治蓝图，至今仍不失为一部有学术价值的著作，但当时随同他的自尽而未能被秦王采用。
吕不韦自杀而死后，他门下的门客把他悄悄葬在洛阳北邙山。参加送葬的人有数千人，场面很大。秦王政得知以后非常气愤，认为这是借送葬向自己示威，便下令对参加送葬的人进行惩罚，许多人遭到流放和驱逐，同时申明：“从此以后，敢像嫪毐、吕不韦一样专擅弄权的，全部抄家灭族。”
秦王政与吕不韦之间的斗争是一场为争夺国家权力的政治斗争，秦王政除掉了吕不韦，同时也摒弃了吕不韦治国的政治蓝图。他要按照自己的意志，缔造一个空前强大的中央集权制大帝国。
