十三爷的怡亲王府大清第一，死后被雍正改造，子孙无福居住
第一座怡亲王府在王府井帅府园，即今天新东安市场东侧一带。当年这座王府占地面积很大，气势宏伟。不过，如此宏伟的王府却只有十三爷胤祥一人居住过。因为在胤祥去世后，悲痛万分的雍正为了纪念这位弟弟，下旨将其王府改为贤良寺，还亲自书写御制碑文。
贤良寺在清朝历史上扮演着很重要的角色，由于该地临近皇宫，因此便成了外省朝廷重臣进京朝见时的临时住所，也就类似于国有招待所。特别是在晚晴时期，著名的曾国藩、李鸿章、左宗棠、张之洞等封疆大吏都曾经寄住于此。
1901年11月7日，一代权臣李鸿章正是在这里怀着无尽的惆怅离开了人世。之后，在几十年的岁月变迁中，原本肃静的贤良寺逐渐淹没在居民的大杂院中。到了上个世纪末的旧城改造中，贤良寺的大部分建筑被拆毁，只剩下东边的一进小院，深藏在高楼当中。
既然十三爷的怡亲王府被改建成了贤良寺，朝廷便要为其继承人安排新的住所，于是便有了第二座怡亲王府。
这座新王府位于朝阳门内北小街，今为国家单位使用。当年这座新王府落成后，继袭怡亲王爵位的胤祥第七子弘晓便迁居于此，此后六代怡亲王均居住在这里。王府虽没有十三爷时那么恢宏气派，却也颇为壮观。
此府占地广阔，堪称清代王府的典型建筑，其主体规模和构架至今保存相对比较完好，也是北京现存完整的王府之一。不过自从载垣获罪以后，怡亲王的铁帽子和王府都被慈禧没收。
1864年，该王府又被赐予道光帝第九子、孚郡王奕譓，后者于1871年晋爵为孚亲王，因其排行第九，故孚王府又称“九爷府”。
民国时期，孚王府先是被售予奉系军阀张作霖的部下杨宇霆，后又曾相继用作北平大学女子文理学院校舍、国民党励志社总部等。
1864年，朝廷开恩恢复怡亲王的铁帽子爵位，于是又有了第三座怡亲王府。
第三座怡亲王府位于东单北极阁三条，此处原为宁良郡王府。由于当时朝廷决定改宁良郡王弘晈（胤祥次子）的四世孙。镇国公载敦袭怡亲王爵，并令其仍然居住在祖先留下来的宁郡王府，因此宁郡王府便摇身一变成为第三座怡亲王府。
宁郡王府规模自然无法与前两座怡亲王府相比，况且末代怡亲王一生穷困潦倒，家业败落，如今这里早已物是人非，成为某艺术院团的所在地了。
怡亲王这个铁帽子王的命运可以说是坎坷的，在近200年的岁月里，命运极度反复，甚至有怡亲王被赐自尽者，真正意义上来说，怡亲王这顶帽子其实只辉煌了十三爷胤祥这一代，后世再无位高权重者。