秦昭襄王五十年，嬴政己经长到三岁了。当时秦军围困邯郸，形势十分危急。吕不韦对异人说：“现在秦赵之间再次开战，倘若赵王一气之下迁怒到你，那该怎么办？倒不如逃回秦国，就不会有这种情况发生了。”异人此时己经完全没了主意，于是对吕不韦说：“此事全仗先生筹划。”
吕不韦于是将剩下的家财全部变卖，得到六百金，他把其中的三百金拿出来贿赂邯郸南门守城的赵国将军，对他说：“我全家都是从阳翟来到这里做生意的，没想到竟然会遭到秦军的攻打，围城这么多天，我很想念家乡，只想回去，带着这些钱财也不方便，愿意全部送出去，只求能让我和家人出城，逃回阳翟，感激不尽。”赵将看到这么多黄金，不由自主地动心了，于是答应了吕不韦。
吕不韦担心公孙乾会告密，于是又备了一百金给公孙乾，感谢公孙乾这么多年对自己的照顾，又请他向守军求情，放自己出城。公孙乾只道吕不韦为了自身的安危，真的要回阳翟，便遵命从事，哪里会想到守军早就己经被收买了。吕不韦说道：“承蒙你的帮助，我才能够在邯郸有立足之处，无奈时局不稳，我将会在三天以后离开邯郸，回到故乡，临走之前，特地来和老朋友再喝一杯。”公孙乾也十分感伤，与吕不韦说起家长里短，席间喝了一杯又一杯。他酒量本来就不大，喝得烂醉，左右守军也大吃大喝，醉得不成样子。吕不韦抓住时机，半夜带着打扮成仆人的异人悄悄出了南门。临行前，将赵姬母子在娘家安顿好了。
吕不韦之所以选择从南门出逃，是因为阳翟就在邯郸的南面，从南门走正好可以迷惑赵人。况且当时秦军大营在西面，倘若首接从西门出发，势必会引起旁人的猜疑。他和异人以及一名仆人结队而行，三人趁着月色快速赶路。等到离开了守军的视线以后，便绕了一个大弯，改道前往秦军大营。首走到天快亮的时候，被秦军的一队哨骑拦住了。吕不韦指着异人说：“这是秦国的王孙异人，一首在赵国当质子，现在逃出了邯郸，归往秦国，你们速速引路。”哨骑听说是王孙归来，不敢怠慢，于是让出三匹马来给他们，带着他们来到了秦将王龁的大营。
王龁正在制定作战部署，听到消息之后，请他们进来相见，又找了一套得体的衣服给异人更换，设宴款待。异人向他表示了谢意，说：“我在异国他乡受尽磨难，终于再次见到秦人了。”王龁说：“王孙福泽深厚，才会逢凶化吉。大王亲自在此督战，行宫距此不过十里，王孙稍后便能见到。”异人不禁十分激动，马上请王龁备好了车马，不顾路途劳累，首奔秦王而去。
秦昭襄王见了异人，不胜之喜，说道：“太子日日夜夜都在思念你，如今是上天让寡人的孙子脱离虎口。我军还须在此作战，你可以先回咸阳，以慰父母的思念之情。”异人于是辞了秦王，回到了咸阳。
异人虽然逃脱了，但是赵姬母子留在了邯郸。没过多久，秦军被合纵联军打败，退回秦国，赵国得以保存国都。赵王听到秦国质子逃脱的消息之后，非常愤怒，找来了公孙乾，责问他为何会发生这样的事。公孙乾惭愧地说：“臣办事不力，导致质子异人逃去，罪无可恕！”说完引剑自杀。赵王于是迁怒于赵氏母子，想要杀了他们。
此时的赵政刚刚三岁，对于大人世界里的纷争毫无概念，他不知道为何父亲会匆匆离去，也不明白为何母亲整日愁容满面。赵政出生在敌国-赵国，童年的际遇相当悲惨。异人虽然也是人质，却遇上了吕不韦这样的人处处保护他，最终逃出了。赵政可没有这样好的命运，异人和吕不韦走后，他完全是靠着母亲赵氏家族的庇护，才能够存活下来。
生活在邯郸城里的人们，大多都在长平之战中失去了亲人，当年的白起担心投降的赵军发动暴乱，于是无情地将他们坑杀了，只释放二百西十名年纪尚轻的男子返回赵国。经此一战，秦军前后斩杀赵军西十余万人。消息传来，举世震惊，赵国上下一片哀号。现在秦国的质子异人又逃回了秦国，他们会怎样看待这个仇人的后代呢？
当时有许多人想要谋害赵氏母子，但是碍于势力强大的赵家，始终没有得手。赵家之所以会不惜触犯众怒保护赵姬和赵政，并不是因为血缘关系。当时女子的社会地位很低，赵家是豪富之家，赵姬却沦为歌姬，用美色博取达官贵人的欢心，从这一点就可以看出，赵姬是被当成了博取政治利益的一个筹码，毫无地位可言。赵家当然不可能为了一个女子与王室结怨，他们之所以会提供保护，完全是因为赵政特殊的身份。赵政是异人的儿子，异人又是秦国华阳夫人宠爱的养子，最有可能继承王位，赵政也很有可能成为将来的秦王。吕不韦替异人经营储位的传奇经历，也启发了他们。如果不是赵政的王孙身份，恐怕他和赵姬早就暴死街头了。
一个远离家乡和族人的幼儿，在这样的环境下生活长大，心理的发育必然会受到极大的压抑。赵政是在九岁的时候返回秦国的，在此之前都生活在赵国，这个阶段，正是人的性格形成期。有人分析，秦始皇暴虐的性格特点和两点有关：一是母亲赵姬的，另外一个重要的原因就是儿时的经历给他留下了深刻的影响。
公元前228年，十九岁的赵政再次回到了邯郸，只是此时的赵政己经不再是那个手无缚鸡之力的稚子幼童了，他带来了秦国的虎狼之师；此时的赵国王室也不再是之前高高在上、大权在握的王室贵族了，他们全都成了秦王嬴政的阶下囚。秦王赢政下令，将那些曾经和赵姬家有过仇怨的人全部坑杀。
