元狩元年（公元前122年），刘据被立为太子，卫子夫的皇后位置看似更加稳固。然而，祸兮福所倚，福兮祸所伏。就在卫子夫极度得宠的时候，厄运和灾难正悄悄向她逼近。
在封建社会，女人的年龄与姿色就是本钱。她们过了中年，人老珠黄，皇帝就会像讨厌破烂衣服一样，随时都可能将她们抛弃。
岁月荏苒，韶光流逝。汉武帝的“金屋”里轮番更换着一个又一个绝色美人。
先有王夫人，年轻貌美，受到汉武帝宠幸，生了儿子刘闳。怎奈王夫人短命，中年病死，并没有对卫子夫构成威胁。
又有李夫人，更年轻更美貌。其兄叫李延年，通音律，善歌舞，一次为汉武帝演唱一首《丽人曲》：“北方有佳人，绝世而独立。一顾倾人城，再顾倾人国。宁不知倾城与倾国，佳人难再得！”汉武帝不相信世界上有这样美丽的女人。平阳公主说：“有！李延年之妹就是这样的佳人！”汉武帝大喜，立刻召见李延年之妹，但见她豆蔻年华，妖冶妩媚，举世无双。他遂将她纳入后宫，封为夫人，大加宠爱，汉武帝又多了个儿子。
李夫人一次患了重病，面黄肌瘦，容颜大减。汉武帝前往探视，李夫人以被蒙头，谢而不见。汉武帝离去，宫女询问李夫人说：“夫人为何不见皇上，嘱托一下兄弟的事呢？”李夫人回答说：“我所以不见皇帝，正是为了将兄弟托付给他。我凭姿色容貌，得到皇上的宠幸。以色事人，色衰而爱弛，爱弛则恩绝。皇上过去喜欢我，是因为我容貌姣美。现在疾病毁了我的容貌，皇上见了必然厌恶。那样，他还会关照我的兄弟吗？”
李夫人的话是很有见地的。她所概括的“色衰而爱弛，爱弛则恩绝”的经典之论，道出了历代后妃失宠的基本规律。
李夫人的疾病没有治好，很快死了。汉武帝痛悼不已，特意恩封她的三个兄弟。有个方士见汉武帝时时思念李夫人，胡说能摄李夫人的魂魄前来相会。夜晚时分，方士张灯烛，设帷帐，让一女子扮作李夫人模样，来回走动，而请汉武帝坐于远处观望。汉武帝见那女子酷似李夫人，愈添愁思，提笔写下两句诗来：“是邪？非邪？立而望之，偏何姗姗来迟？”后来，他还为李夫人写了悼赋《秋风辞》，那是一篇感情深沉的恋歌和悲歌。
再有尹婕妤和邢美人争宠后宫，因为势单力薄，也没有对卫子夫构成多大的威胁。而钩弋夫人的出现，使卫子夫真正遇到了强劲的对手。从此，她境况日下，由盛转衰，一发而不可收。
钩弋夫人姓赵，河间（今河北献县）人，体态优美，姿色妩媚。她自小有个毛病，两手皆拳，指头不能伸展。一次，汉武帝巡狩经过河间，听说了这个奇女，予以召见。他抓着赵女的双手，一边抚摩，一边端详，结果奇迹出现，赵女的手指竟然伸直了，而且手里各握着一只玉钩。汉武帝随即宠幸赵女，封她为拳夫人，带回长安，进位婕妤，居钩弋宫，故又称钩弋夫人。
