R语言进行K折交叉验证问题

在使用R语言进行模型参数评估优化时候，会使用K折交叉验证，其中会遇到各种各样问题：

复制代码

错误: C5.0 models require a factor outcome
> (1-mean(E0));(1-mean(E1))
[1] 1
[1] 1

报错说明C5.0模型需要因子变量输出，源代码如下：

复制代码

### 10折交叉验证 ###
# 导入car数据集
car <- read.table("car.data",sep = ",")
# 对变量重命名
colnames(car) <- c("buy","main","doors","capacity",
                   "lug_boot","safety","accept")

# 手动构建10折交叉验证
#下面构造10折下标集
library(caret)
ind<-createFolds(car$accept,k=10,list=FALSE,returnTrain=FALSE)
# 下面再做10折交叉验证，这里仅给出训练集和测试集的分类平均误判率。
E0=rep(0,10);E1=E0
library(C50)
for(i in 1:10){
  n0=nrow(car)-nrow(car[ind==i,]);n1=nrow(car[ind==i,])
  a=C5.0(accept~.,car[!ind==i,])
  E0[i]=sum(car[!ind==i,'accept']!=predict(a,car[!ind==i,]))/n0
  E1[i]=sum(car[ind==i,'accept']!=predict(a,car[ind==i,]))/n1
}
(1-mean(E0));(1-mean(E1))

针对报错，将 a=C5.0(accept~.,car[!ind==i,])代码前面加上因子变量：

复制代码

car$accept<-as.factor(car$accept)

修改代码如下：

复制代码

### 10折交叉验证 ###
# 导入car数据集
car <- read.table("car.data",sep = ",")
# 对变量重命名
colnames(car) <- c("buy","main","doors","capacity",
                   "lug_boot","safety","accept")
# 手动构建10折交叉验证
#下面构造10折下标集
library(caret)
ind<-createFolds(car$accept,k=10,list=FALSE,returnTrain=FALSE)
# 下面再做10折交叉验证，这里仅给出训练集和测试集的分类平均误判率。
E0=rep(0,10);E1=E0
library(C50)
car$accept<-as.factor(car$accept)
for(i in 1:10){
    n0=nrow(car)-nrow(car[ind==i,]);n1=nrow(car[ind==i,])
    a=C5.0(accept~.,car[!ind==i,])
    E0[i]=sum(car[!ind==i,'accept']!=predict(a,car[!ind==i,]))/n0
    E1[i]=sum(car[ind==i,'accept']!=predict(a,car[ind==i,]))/n1
}
(1-mean(E0));(1-mean(E1))

这样就输出了正确结果。

附：利用caret包中的trainControl函数完成交叉验证。

复制代码

# 利用caret包中的trainControl函数完成交叉验证
#install.packages("caret")
library(ROCR)
library(caret)
control <- trainControl(method="repeatedcv",number=10,repeats=3)
model <- train(accept~.,data=car,method="rpart",
               trControl=control)
model
plot(model)