Измерение результативности классификации
Измерьте точность цифрового распознавателя, обученного на базе данных рукописных цифр MNIST.
Начните с получения данных режима обучения и контрольных данных.
In[1]:=
![Click for copyable input](assets.ru/measure-classification-performance/In_70.png)
resource = ResourceObject["MNIST"];
trainingData = ResourceData[resource, "TrainingData"];
testData = ResourceData[resource, "TestData"];
In[2]:=
![Click for copyable input](assets.ru/measure-classification-performance/In_71.png)
RandomSample[trainingData, 5]
Out[2]=
![](assets.ru/measure-classification-performance/O_58.png)
Задайте свёрточную нейронную сеть, которая принимает входные данные в виде полутоновых изображений размером 28x28.
In[3]:=
![Click for copyable input](assets.ru/measure-classification-performance/In_72.png)
lenet = NetChain[{
ConvolutionLayer[20, 5], Ramp,
PoolingLayer[2, 2],
ConvolutionLayer[50, 5], Ramp,
PoolingLayer[2, 2],
FlattenLayer[],
500, Ramp, 10,
SoftmaxLayer[]},
"Output" -> NetDecoder[{"Class", Range[0, 9]}],
"Input" -> NetEncoder[{"Image", {28, 28}, "Grayscale"}]
]
Out[3]=
![](assets.ru/measure-classification-performance/O_59.png)
Проведите три раунда тренировки нейронной сети.
In[4]:=
![Click for copyable input](assets.ru/measure-classification-performance/In_73.png)
lenet = NetTrain[lenet, trainingData, ValidationSet -> testData,
MaxTrainingRounds -> 3]
Out[4]=
![](assets.ru/measure-classification-performance/O_60.png)
Оцените обученную сеть непосредственно на изображениях, случайно отобранных из контрольного набора.
In[5]:=
![Click for copyable input](assets.ru/measure-classification-performance/In_74.png)
imgs = Keys @ RandomSample[testData, 5];
Thread[imgs -> lenet[imgs]]
Out[5]=
![](assets.ru/measure-classification-performance/O_61.png)
Создайте объект ClassifierMeasurements из обученной сети и контрольного набора.
In[6]:=
![Click for copyable input](assets.ru/measure-classification-performance/In_75.png)
cm = ClassifierMeasurements[lenet, testData]
Out[6]=
![](assets.ru/measure-classification-performance/O_62.png)
Получите точность сети на контрольном наборе.
In[7]:=
![Click for copyable input](assets.ru/measure-classification-performance/In_76.png)
cm["Accuracy"]
Out[7]=
![](assets.ru/measure-classification-performance/O_63.png)
Составьте список троек, ошибочно классифицированных как восьмёрки.
In[8]:=
![Click for copyable input](assets.ru/measure-classification-performance/In_77.png)
cm[{"Examples", 3 -> 8}]
Out[8]=
![](assets.ru/measure-classification-performance/O_64.png)
Получите графическое изображение матрицы ошибок определений сети на контрольном наборе.
In[9]:=
![Click for copyable input](assets.ru/measure-classification-performance/In_78.png)
cm["ConfusionMatrixPlot"]
Out[9]=
![](assets.ru/measure-classification-performance/O_65.png)