對於賢能與不肖的分別，張楊園有最精辟的論述，他認為：賢能的人容易疏遠而難以親近，不肖的人容易親近而難以疏遠。賢能的人宜當親近，突然親近反而見疑；不肖的人宜當疏遠，因疏遠或致使他怨恨。所以應當及早辨別他。
略舉他們的要處，就有幾項：賢能的人必然剛直，不肖的人必定佞賢；賢能的人必然中正，不肖的人必定偏隘；賢能的人必然大公，不肖的人必定自私；賢能的人必然謙和，不肖的人必定驕傲；賢能的人必然謹慎，不肖的人必定恣肆；賢能的人必然遜讓，不肖的人必定競爭；賢能的人必然誠實，不肖的人必定險詐；賢能的人必然獨立特行，不肖的人必定唯諾附和；賢能的人必然老成持重，不肖的人必定輕舉妄動；賢能的人必然韜光養晦，不肖的人必定激揚狂暴；賢能的人必然寬厚慈善，不肖的人必定苛刻殘忍；賢能的人必然欲望淡薄，不肖的人必然利勢熾勢；賢能的人持身以嚴，不肖的人律人必苛；賢能的人必然從容而有度量，不肖的人必然急促而時有變更；賢能的人必然規模遠大而合理微密，不肖的人必定急功近利而唯小是圖；賢能的人必然不善言辭而敏於行事，不肖的人必定誇耀而不願做事；賢能的人必然先人後己，不肖的人必定先己後人；賢能的人必然見善惟恐不及，好說人的善，不肖的人必定嫉妒賢能，好說人的不善；賢能的人必然不虐無告不畏強暴，不肖的人必定柔則茹之，剛則怯之。這等類別，舉不勝舉，不外乎公私利益罷了。
世人說知人的確不容易學，雖難學，實在又不得不學。《中庸》上說到知人不可不修身，修身又不可不知人。兩者相連，得就都得，失就得失。人怎麽能精通知人的學問，而沒有危險呢!這不僅是知人的鑒別，也可以說是修養取舍的一麵鏡子。