以貌取人的典故出自《史记•仲尼弟子列传》。原文如下：孔子闻之，曰：“吾以言取人，失之宰予；以貌取人，失之子羽。”
宰予是春秋时鲁国人。他能说会道，利言善辩，是孔子的学生。孔子开始的时候对宰予的印象不错，不过，后来因为他品德欠佳又十分懒惰，常常在大白天不去读书，躺在床上睡大觉。孔子说，像宰予这种人，就像烂木头不能雕花，脏土墙不能刷白一样，是不值得责备的。
后来，宰予到齐国当大夫，因与别人合谋犯上作乱，被诛灭全族。
孔子另有一个弟子叫澹台灭明，字子羽，也是鲁国人，相貌丑陋。于是孔子认为他资质低下，智商不高，将来不会成才。但他与宰予不同，他致力于修身，善于检查自己言行，处事光明磊落，不走邪路，从不逢迎巴结公卿大夫。
后来，子羽到长江一带游历，跟随他的弟子有三百多人，声誉很高。在各诸侯国名声也很大。
孔子听了子羽的事，很有感触地说：“我只凭言辞判断人的品德才能，结果对宰予判断错了，我只凭相貌判断人的品德才能，结果对子羽又判断错了。”
