成语以貌取人出自汉•司马迁《史记•仲尼弟子列传》。
在孔子众多的弟子中有一个特别讨孔子的欢心，他叫宰予，他口才极好，善于雄辩。但是这跟品德没有关系，宰予可以说是一个品德极差之人，且又懒惰成性。孔子谓之“朽木”。
一天，宰予问孔子说：“父母死了，儿子要服丧三年，这不是太长了吗？”
孔子生气地说：“君子服丧，吃饭不觉得香，听音乐不感到快乐，你却觉得时间太长，你是不仁不义的人。儿女从生下来开始，三年以后才能离开父母的怀抱，所以为死去的父母服三年丧这是最基本的礼仪，无论他是谁，都应该遵循，但在你看来却可行可不行，你实在无可救药。”
宰予后做了齐国大夫，因与田常合谋作乱而被诛灭九族。孔子的另一个弟子子羽，鲁国人，相貌很丑，孔子开始认为他一定很笨，不会成才的，所以不喜欢他。然而子羽品德极好，办事公正，学习很用心，后来子羽在江南游学，跟随他学习的弟子有300多人，声誉很高，各诸侯国都传诵他的美名。
孔子听说了这件事，感慨地说：“我只凭言语衡量人才，在宰予身上犯了错误；我只凭相貌衡量人才，又在子羽身上犯了错误。看来是不该以貌取人的呀！”
