针对医学图像具有较大的相似性和交叉性，易造成归属类别混乱的问题，提出了一种基于粒子群算法的医学图像分类方法。该方法使用形态学滤波和阈值法进行预处理；使用SIFT特征描述子来提取图像的局部特征，并使用聚类的方法得到SIFT特征的“视觉词汇”；使用粒子群算法选出一些列多样性和精度更高的SVM、KNN和AdaBoost分类器对特征进行分类。对15种不同类型的医学图像进行分类的结果表明，所提出的方法取得了94.72%的分类精度，且相比于单个分类器的方法具有较大的性能提升。