Meça o rendimento da classificação
Meça a precisão de um reconhecedor de dígitos treinados no banco de dados MNIST de dígitos escritos à mão.
Primeiro obtenha os dados de treinamento e validação.
In[1]:=
![Click for copyable input](assets.pt-br/measure-classification-performance/In_70.png)
resource = ResourceObject["MNIST"];
trainingData = ResourceData[resource, "TrainingData"];
testData = ResourceData[resource, "TestData"];
In[2]:=
![Click for copyable input](assets.pt-br/measure-classification-performance/In_71.png)
RandomSample[trainingData, 5]
Out[2]=
![](assets.pt-br/measure-classification-performance/O_58.png)
Defina uma rede neural convolucional que pega imagens em tons de cinza 28x28 como entrada.
In[3]:=
![Click for copyable input](assets.pt-br/measure-classification-performance/In_72.png)
lenet = NetChain[{
ConvolutionLayer[20, 5], Ramp,
PoolingLayer[2, 2],
ConvolutionLayer[50, 5], Ramp,
PoolingLayer[2, 2],
FlattenLayer[],
500, Ramp, 10,
SoftmaxLayer[]},
"Output" -> NetDecoder[{"Class", Range[0, 9]}],
"Input" -> NetEncoder[{"Image", {28, 28}, "Grayscale"}]
]
Out[3]=
![](assets.pt-br/measure-classification-performance/O_59.png)
Treine a rede com três ciclos de treinamento.
In[4]:=
![Click for copyable input](assets.pt-br/measure-classification-performance/In_73.png)
lenet = NetTrain[lenet, trainingData, ValidationSet -> testData,
MaxTrainingRounds -> 3]
Out[4]=
![](assets.pt-br/measure-classification-performance/O_60.png)
Avalie a rede treinada diretamente sem imagens de uma amostra aleatória do conjunto de validação.
In[5]:=
![Click for copyable input](assets.pt-br/measure-classification-performance/In_74.png)
imgs = Keys @ RandomSample[testData, 5];
Thread[imgs -> lenet[imgs]]
Out[5]=
![](assets.pt-br/measure-classification-performance/O_61.png)
Crie um objeto de ClassifierMeasurements de uma rede treinada e de um conjunto de validação.
In[6]:=
![Click for copyable input](assets.pt-br/measure-classification-performance/In_75.png)
cm = ClassifierMeasurements[lenet, testData]
Out[6]=
![](assets.pt-br/measure-classification-performance/O_62.png)
Obtenha a precisão da rede no conjunto de validação.
In[7]:=
![Click for copyable input](assets.pt-br/measure-classification-performance/In_76.png)
cm["Accuracy"]
Out[7]=
![](assets.pt-br/measure-classification-performance/O_63.png)
Crie uma lista de números 3 que foram mal classificados como sendo 8.
In[8]:=
![Click for copyable input](assets.pt-br/measure-classification-performance/In_77.png)
cm[{"Examples", 3 -> 8}]
Out[8]=
![](assets.pt-br/measure-classification-performance/O_64.png)
Obtenha um gráfico da matriz de confusão das previsões da rede no conjunto de validação.
In[9]:=
![Click for copyable input](assets.pt-br/measure-classification-performance/In_78.png)
cm["ConfusionMatrixPlot"]
Out[9]=
![](assets.pt-br/measure-classification-performance/O_65.png)