对当前学习任务有价值的属性称为是“相关特征”,没有价值的属性称为是“无关特征”,从给定的特征集中选择出相关特征子集的过程,就称为是“特征选择”。其中还有一种特征称为是“冗余特征”,这些特征指的是可以从其他特征中推演出来的特征。