为了让张氏兄弟随传随到,武则天还命令设立控鹤府,封张易之为控鹤监,封张昌宗为秘书监。其实,这个所谓的控鹤府就是武则天的“后宫”。控鹤府设立后,这里天天的事情不外是饮酒,开筵,赌博。似乎是武则天要把这个控鹤府弄成一个神仙洞府。这所建筑围绕在雕梁画栋金碧辉煌的瑶光殿,武则天几乎每天都在这里过着骄奢淫逸狂欢取乐的生活。在控鹤府后面便是一里长的御花园,园中有一个长方的池塘,池塘里有两个小岛,四周全是花草树木,精雕彩绘的牌坊游廊。后来又捏造出神话来,说张昌宗前生就是古代的仙人王子乔。为要把这个道家的仙梦实现在人间,张昌宗披鹤氅衣,戴华阳巾,手执洞箫一支,跨木鹤,周行园中,这让在一旁观看的武则天喜欢万分。
其实,控鹤府里大都是少年“人妖”,正是少年“人妖”组成了武则天的“后宫佳丽”,满足了武则天的心愿和欲望。但是,控鹤府此时由于秽声四播,以致朝野上下无不侧目。据说,当时有一个魏姓青年给朝廷上了一个奏折,公然声称凭他的私处之美,他有入控鹤府充当供奉的资格。朝中大臣朱敬则闻听这样的秽言,勃然大怒。感到身为大臣,不可不言,乃上书武则天:“窃以为陛下有张氏兄弟亦可以自娱矣。陛下岂以二臣为不足必欲置美少年耶?满朝之中已人言啧啧矣。窃闻有魏厚祥者,以精力过人自炫,公然自请位列宿卫,并尚有……”武则天将奏折阅后向朱敬则说:“爱卿为国勤劳,殊可嘉勉。但此事朕并不知悉!”
自从朱敬则与武后上本之后,武后已经觉察出控鹤府的丑声外泄。她觉得应当改一下控鹤府的名称,于是索性改为“奉宸府”。但她酒宴之间的时光,还是要一半要消磨在床上。此时,武则天由于年事已高,朝廷政事就很多由张氏兄弟来处理,二人权倾朝中,连武则天的侄儿武承嗣、武三思等人都争着为二人执鞭牵马。在内宫里,武则天则肆意同张氏兄弟二人共享床笫之欢,这引起了武则天贴身秘书上官婉儿的春心荡漾。上官婉儿生的妖冶艳丽,秀美轻盈,加上天生聪秀,过目成诵,文采过人,下笔千言,尤其书法秀媚,格仿簪花。武则天所下制诰,多出上官婉儿的手笔。武则天将上官婉儿倚为心腹,甚至与张易之、张昌宗兄弟在床榻间交欢时也不避忌上官婉儿。