李渊退位后和李世民很少见面，但驾崩前一年还去检阅军队
武德九年（626年），李世民发动政变，在玄武门诛杀了李建成和李元吉，然后逼迫李渊交出权力。八月初九，李渊正是退位，离开了权力中心，从此开始了幽禁般的生活。最开始的两年多时间内，李渊并没有搬家，还是住在太极宫，虽然行动受到了一定的限制，但物质生活倒还是不缺的，后宫也并没有裁减。到了贞观二年（628年），李世民将太极宫中的大部分宫女以及掖庭的部分宫女放归家中嫁人，这次放归是大放，号称有三千宫女被放回，其中绝大部分就是伺候李渊的宫女，自此，太极宫较以往又安静了很多。
到了贞观三年（629年），李渊搬到了太安宫（大安宫），即当初的宏义宫。说起来也很有意思，这个宏义宫原本是李渊在武德五年（622年）特意下旨为李世民建的宫殿，李世民最开始住在承乾殿，李渊念李世民克定天下有功，于是建了宏义宫让李世民居住。没想到到最后成了自己的晚年居所。当时的李世民是秦王，所以宏义宫无论是位置还是规模都不能和太极宫相比。
李渊搬进了大安宫之后，父子俩就很少见面了，李渊在大安宫几乎从来不出门，就住在这一方小天地里和为数不多的妃嫔过活，娱乐什么的是很少的。但是即便在这样的环境下，六十多岁的李渊却还有生育能力，滕王李元婴正是出生在大安宫。
而在同一年，还发生了一件大事，那就是李勣灭了东突厥，擒获了颉利可汗。要知道，当年李渊在太原起兵的时候还曾派刘文静跑到突厥寻找合作，“大唐起义太原，刘文静聘其国，引以为援。”唐朝建立后，始毕可汗的胃口越来越大，不断找借口向唐朝索要财物，史书上称：“始毕自恃其功，益骄踞；每遣使者至长安，颇多横恣。高祖以中原未定，每优容之。”而现在，在贞观时期，东突厥就被大唐给灭了，李世民自然不能不让李渊知道这件事，表示：“靖以骑三千，喋血虏庭，遂取定襄，古未有辈，足澡吾渭水之耻矣！”李渊知道后自然是有一番感叹，高兴地说：“汉高祖困白登，不能报；今我子能灭突厥，吾托付得人，复何忧哉！”于是李渊就和李世民见面了，当时还有十余位重臣以及王爷王妃等在凌烟阁大摆筵席，酒酣之际，李渊还情不自禁地弹起了琵琶，而李世民则跳起了舞蹈，“上皇召上与贵臣十余人及诸王、妃、主置酒凌烟阁，酒酣，上皇自弹琵琶，上起舞，公卿迭起为寿”，可以说是其乐融融，晚上才结束。
李渊
但是李渊和李世民父子大部分时候是互不相见的，贞观六年（632年），李世民在酷暑的季节决定避暑九成宫，但并没有叫上李渊，监察御史马周就看不下去了，就上疏建议李世民将李渊住的大安宫进行修缮加高，而且建议李世民应该每天都要去大安宫看一看年迈的李渊：“传伏覩大安宫在宫城之西，其墙宫阙之制尚为卑小，东宫皇太子之宅犹处城中，大安宫至尊所居，更在城外，臣愿营筑雉堞，修起门楼，务从高显以称万方之望，大孝昭乎天下”！李世民答应了。将大安宫做了一番修缮，但到了第二年，李世民邀李渊去九成宫避暑的时候，李渊却拒绝了。
贞观八年（634年）是李渊再次有点小活跃的一年，这一年的三月初二，李渊再次大摆筵席，在两仪殿宴请西突厥的使者，李渊在宴会上对长孙无忌说：“当今蛮夷率服，古未尝有。”长孙无忌祝福了一下李渊。然后李渊给李世民赐酒，李世民捧起酒杯为李渊祝寿，流着泪说：“百姓获安，四夷咸附，皆奉遵圣旨，岂臣之力！”“
尊帝为太上皇，徙居弘义宫，改名太安宫。贞观八年三月甲戌，高祖宴西突厥使者于两仪殿，顾谓长孙无忌曰：‘当今蛮夷率服，古未尝有。’无忌上千万岁寿。高祖大悦，以酒赐太宗。太宗又奉觞上寿，流涕而言曰：‘百姓获安，四夷咸附，皆奉遵圣旨，岂臣之力！’于是太宗与文德皇后互进御膳，并上服御衣物，一同家人常礼。是岁，阅武于城西，高祖亲自临视，劳将士而还。置酒于未央宫，三品已上咸侍。高祖命突厥颉利可汗起舞，又遣南越酋长冯智戴咏诗，既而笑曰：‘胡、越一家，自古未之有也。’太宗奉觞上寿曰：‘臣早蒙慈训，教以文道；爰从义旗，平定京邑。重以薛举、武周、世充、建德，皆上禀睿算，幸而克定。三数年间，混一区宇。天慈崇宠，遂蒙重任。今上天垂祐，时和岁阜，被发左衽，并为臣妾。此岂臣智力，皆由上禀圣算。’高祖大悦，群臣皆呼万岁，极夜方罢”。李世民和长孙皇后侍奉李渊吃饭，融洽得好似又回到了从前。
这一年十二月李渊还曾到城西检阅军队。“
乙卯，帝从太上皇阅武于城西。”李世民又在未央宫摆宴席，三品以上官员都参加，李渊也出席了宴会，并在宴会上要求颉利可汗跳舞，父子俩不免又是一番感叹。这时候的李渊已经是79岁，人生已经所剩无几。
贞观九年（635年）五月，李渊病危，下诏让李世民一切从简，丧服遵循汉制，陵墓的选建也要从简。五个月之后，李渊葬入献陵。“
九年五月庚子，高祖大渐，下诏：‘既殡之后，皇帝宜于别所视军国大事。其服轻重，悉从汉制，以日易月。园陵制度，务从俭约。’是日，崩于太安宫之垂拱前殿，年七十。群臣上谥曰大武皇帝，庙号高祖。十月庚寅，葬于献陵。”至于献陵和第二年长孙皇后崩逝后建的昭陵的对比，这又是一个悲伤的故事。“
文德皇后既葬，帝即苑中作层观，以望昭陵，引徵同升，徵孰视曰：‘臣眊昏，不能见。’帝指示之，徵曰：‘此昭陵邪？’帝曰：‘然。’徵曰：‘臣以为陛下望献陵，若昭陵，臣固见之。’帝泣，为毁观。”