棉花杂质检测是棉花加工产业的关键步骤，直接影响棉花的质量及价格。为了有效地把杂质从棉花中脱离出来，我们通过在YCbCr颜色空间下，基于杂质与棉花的色调信息差，提取二者的样本，采用BP神经网络进行训练并输出它的误差，得到适应度函数并进行遗传算法的选择、交叉及变异操作，优化神经网络权值、阈值，直至输出误差达到要求或达到预设迭代次数。最后我们根据所获得的BP神经网络权值、阈值进行棉花图像分割。在这个基础上，对遗传算法的选择算子、交叉算子和变异算子进行改进。分别对暗光、常光、强光3种情况下的进行杂质脱离，实验表明，本方法可实现准确分割，检测率达到92.3%。