李豫的生母吴氏，得幸于唐肃宗，纯属偶然。
吴氏十余岁时家遭变故，被没入掖庭充当宫女。李亨为太子时，奸相李林甫专权，擅作威福，祸国殃民。李亨因此忧心忡忡，致使鬓角斑秃，甚至出现了少许白发。太子未老先衰，唐玄宗深感不快。
一天，唐玄宗带着高力士，专门驾幸东宫，看看太子忙些什么。唐玄宗看到，东宫的条件十分简陋，院落和房间久未打扫，乐器架上落满灰尘，左右居然无一宫女伺候。他皱着眉头对高力士说：“朕的儿子住在这样的地方，你为何不跟朕说呀？去，赶快在京城挑选五名良家女子，前来伺候太子。”高力士说：“与其这样，还不如在掖庭挑选五名宫女，她们懂得宫中的规矩，太子用起来方便。”
唐玄宗同意。高力士立马就办，当天便将五名宫女送进了东宫。其中，包括吴氏。宫女是没有人身自由的，皇帝和太子想怎么着就怎么着。李亨见吴氏年轻貌美，命其侍寝。这样，吴氏就生了儿子李豫。
对于唐玄宗说来，太子的长子算是嫡皇孙，日后也是要当皇帝的。他很高兴，第三天便兴冲冲地来看嫡皇孙洗澡。李豫刚刚出生，又瘦又小。保姆嫌其丑陋，怕皇帝看了难受，就从别宫抱来一个白白胖胖的婴儿，冒充嫡皇孙。唐玄宗一见，气不打一处来，呵斥说：“嫡皇孙才出生三天，怎么可能这样白胖呢？你等存心欺朕不成？”
保姆吓得连连叩头，说：“奴婢死罪！奴婢死罪！”唐玄宗说：“非你所知，快取儿来！”保姆不敢怠慢，只得抱出真正的李豫。
唐玄宗抱过李豫，迎着光亮仔细端详，笑呵呵地说：“福过其父，福过其父啊！”他准备回宫，命将随行的乐队及携带的宴具赐给太子，回顾高力士说：“你就留下陪太子饮酒吧！你一日内见了三天子（唐玄宗、太子、嫡皇孙），还不该乐一乐？”
吴氏缺少福分，十八岁就病死了。她的儿子能成为太子，日后还当了皇帝，这是她生前所不敢奢望的。
