从输出空间定义问题
二分类:对输出空间的定义,将输入空间通过学习方法处理为一个输出,有$P(Y | X)$ 概率模型或者是非概率模型,一般是分为0或者1 (negative or positive),典型问题如垃圾邮件过滤。
多分类问题:对于输出空间定义,训练后的模型需要在多个分类中确定一个,典型问题如手写数字识别 (0-9 中预测正确的一个数字) 、预测出行是开车/步行/公交/自行车。
多标签学习问题:对输出空间的定义,训练后的模型需要在标签空间中确定多个标签,典例有图像标注。
从输入空间定义问题
多实例学习问题 (MIL, Multiple-Instance Learning):假如一段视频由很多张图组成,假如10000张,那么我们要判断视频里是否包含某一物体,比如气球。单张标注每一帧是否有气球太耗时,通常人们看一遍说这个视频里是否有气球,就得到了多示例学习的数据。
部分多标签学习 (PML, Partial Multi-Label Learning):由于标注者的专业知识不足或者数据本身模糊含混,标注者可能不太确定某标签,若不标注会丢失信息,若随机标注会带来噪声,于是把所有怀疑的标签都标注。即训练集中有伪正例 ( false positive example) ,也有正确的标签,PML的前提假设是所有的标签都会包含在候选标签中。
部分标签学习 (PLL, Partial Label Learning):PML的特例,训练数据中只有一个标签是正确的。
缺失标签学习 (MLML, Multi-Label Missing Labels ):标注者遗漏真标签,即训练集某些数据缺失了一些真标签。
极端多标签学习 (XML, Extreme Multi-label Learning) :XML的挑战在于指数标签空间涉及到可能有$2^L$种标签大小的标签集,特别是当标签尺寸$L$很大的时候,例如:维基百科的标签。