李白为何在受宠的时候选择了远离朝堂呢？
他想来想去只有南门里兰陵坊一带大雁塔附近，风光甚好，而且那里又人烟稀少。虽处闹市之中，却如同乡村一般。于是便穿过朱雀大街，直往南门而去。
这些地方，自然远远不能和宫中相比，但却有天然的野趣。
最后，在快到南门的地方，有一个十分简陋，却收拾得十分干净，桌上小土罐子里插着一束野花的小酒家吸引了他。
他信步走了进去，要了一壶很普通的米酒和几碟极普通的下酒小菜，一边自斟自饮，一边与卖酒的老汉扯着闲话，在这里，他感到好久没有感到过的舒服自在。不知不觉又喝得多了一些，就趁势卧在酒家的小土炕上睡了起来。
李白醉酒图
正睡得香甜，而且梦见两个孩子向他跑来，他刚把两姊弟一手一个抱了起来，却听见有人吵吵闹闹进了屋里，一连叫道：“李学士!李学士!”他心里好不厌烦，想赶紧抱着孩子躲开，却迈不开步子。
有人上来拉他，推他，摇他，他依然不能动弹。过了一会，没有动静了，他又朦胧睡去，又继续做他的梦：“孩儿，你们怎么来的?爹爹还没有自己的住处，你们住在哪里呢?”
突然，却听见“扑”的一声，一盆冷水从他头上浇下。他正想找个地方躲开，又是“扑”的一声，他猛地醒了过来，坐起来一看，才发现几个内侍端着一碗水立在炕前，向他点头哈腰赔笑说：
“李学士，我们找得你好苦哇!皇上要在白莲池划船，等着你回去哩!高公公传下旨意说，非要把你找回去不可，找不到你，我们可就下不来台了。”另一个说：“别啰嗦了，赶快回去吧!”
没等李白答话，他们就七手八脚地扶他上了马，簇拥着直奔兴庆宫而去。路上风一吹，李白一肚子酒涌了上来，非常难受。强忍到兴庆宫门前，终于呕吐起来了，弄得衣服上、马鞍上一片狼藉。
这怎么能上龙船呢?内侍们连忙去禀告高力士，高力士叫人赶快弄碗醒酒汤给李白灌下夫，又让人把衣服给他换下来，把手脸洗净。李白昏昏沉沉，由他们摆布。他正想闭目养一会儿神，却听见小太监说：“高公公来了。”
这高力士说话不仅不男不女，怎么还怪声怪气的?李白眯起眼睛一瞧，原来他站在门外还没有进来，就拿手绢把鼻子堵上了。
李白真想唾他一口：“呸，你这个给皇帝提夜壶的贱臣!”但他转而又想：“何必和这种人计较呢?”李白只好忍了又忍，听任内侍扶着他来到池畔。上了龙船，正想进舱，高力士又传下娘娘旨意，不让进去了。
他吩咐内侍搬来了一张小方桌放在船头，摆好了纸墨笔砚，叫李白就在那里写《白莲花开序》。李白趴在小方桌上久久没有提笔，他需要让自己镇静一下，否则无法控制自己，就会写出以下这句话来：后世子孙切勿为翰林待诏。
李白写毕《白莲花开序》，太阳已经快要落山了。他平生写诗作赋从来没有感到如此为难。
也不知是杨贵妃嫌他酒气逼人，还是皇帝嫌他文思迟钝了，从此李白就很少奉诏，而且又奉命迁出了兴庆宫，仍到大明宫翰林院待诏。
这时，呈献上了长生秘术的张果老被加封为“银青光禄大夫”，已经搬到皇上赐给的宅第去了。
天宝二年(公元743年)夏天，终南山麓，一片松林深处，隐藏着一个小小的山庄。门上钉着一个木牌，上面写有“斛斯山庄”几个字。
暮色苍茫中，李白伴着一弯新月从山上走来，沿着一条苍翠的小路直走进松林，来到庄前敲门。开门的小僮兴高采烈地叫道：“原来是李学士来了!”
听到小僮说话，主人早已从草堂中走出来，客人也走进了院中。
“啊，李学士!贵客临门，有失远迎!你怎么这个时候才到?”主人拱手致敬，一边让李白进正屋里坐。
“啊，斛斯山人，久违!久违!”李白一边回礼一边就在院中小石桌边坐了下来，然后才说：“我刚从紫阁峰上下来，和那里的老道谈论了一天《道德经》。”
“想必很有些体会了?”主人叫小僮给李白打来了洗脸水，泡上了茶水。
“老子五千言，甚为玄妙，虽自幼诵习，却只知道一些皮毛。近年来，对祸福盈亏的道理，才真正有所体会。”李白洗完了脸，拿起了茶杯。
“祸兮福所倚，福兮祸所伏。这确是千古不易的道理。”主人也端起了茶杯。
“这盈亏的道理也是一样呀!你瞧月亮，总是暂满还亏。你再看太阳、是目中则斜，眼瞅着它是正当顶，金光灿烂的，谁知它早已经开始西下了，我原先还不相信，现在才明白。”李白无不感慨地说。主人也听出了一点弦外之音，他既然是两耳不闻窗外事，一心不间世事的隐者，便随意地搭话岔开，“元丹丘怎么没有和你一块来?”
“他刚给玉真公主写了《受道灵坛祥应记》，又奉命去华山采药炼丹去了。丹丘之学本属清静无为的人，即使有些吐纳之术，也是顺其自然，他哪里会什么长生不死之方?没料到把他召到长安去，让他干起了江湖游医这一套，这些日子也实在把丹丘害苦了!”没料到又引发李白一番感慨，就连主人也不禁替元丹丘忧虑起来：
“那他该怎么办呢?”
“这事说难就难，谁也炼不出长生不死之药;说容易也容易，把那参、苓、术、草之类的草药，掺和一些开胃健脾，消痰化食的平补药物，把它们合起几十剂不就完了?”李白说毕把手一拍，笑了起来，引得斛斯山人也笑了。
谈话之间，小僮已端来几样简单的菜肴，主人特意又抱出一坛新丰酒来。
“自从去年我们长安一别，你与元丹丘说来，但总不见来。我这坛酒一直舍不得开，还给你们留着哩!”“唉，说来话长。……总因家务缠身，脱不开身啊!”
打开酒坛，一股扑鼻的酒香散发开来，加上微风送来的松针气息，特剔清新宜人、李白没等主人让他，他自已已喝起来：
“好酒!好酒!”“李学士在皇宫里什么样的好酒没喝过，倒称赞起这老百姓喝的普通酒来。”“老百姓的酒，自有它的原味。宫中的酒虽好，总爱加许多香料和糖。初喝很香甜，喝的多了，就觉得还是这种原味好。”
两人在院中月光下，你一杯我一杯地对饮起来。主人抱歉说没有来得及准备，只有几种小菜，李白却赞不绝口。
李白环视四周，周围有数亩小园，几间茅舍，屋后是几块菜畦，屋前种的是四季花草。桐间露落，柳下风来，虽处盛夏，竟如高秋。李白又是羡慕不已。
斛斯山人说：“我这山居野处又有什么好羡幕的，怎能和你们那里的深宅大院相比?”
李白也不回答，却在那里背诵起庾信的《小园赋》：“若夫一枝之上，巢得安巢之所;一壶之中，壶公有容身之地。况乎管宁藜床，虽穿而可坐;嵇康锻灶，既暖而堪眠。岂必连闼洞房，南阳樊重之地;赤墀青琐，西汉王根之宅……”斛斯山人也说道：“这也是实话。席前方丈，所食不过一饱;广厦千间，夜眠也不过八尺。”
到后来，李白越发不拘形态，竟然放声高歌起来。斛斯山人也搬出琴来，随着弹了几曲。歌声琴声，伴着松风，荡漾在终南山麓。这一天，李白感到了许久以来没有过的自由和舒适。