Klassifizierungs-Performance messen

Messen Sie die Genauigkeit eines Netzes zur Erkennung von Ziffern. Das Netz wurde mit Bildern der MNIST-Datenbank handgeschriebener Ziffern trainiert.

Erstellen Sie als ersten Schritt die Übungs- und Validierungsdaten.

In[1]:=

resource = ResourceObject["MNIST"]; trainingData = ResourceData[resource, "TrainingData"]; testData = ResourceData[resource, "TestData"];

In[2]:=

RandomSample[trainingData, 5]

Out[2]=

Definieren Sie ein Convolutional Neural Network, das 28x28-Graustufenbilder als Input erhält.

In[3]:=

lenet = NetChain[{ ConvolutionLayer[20, 5], Ramp, PoolingLayer[2, 2], ConvolutionLayer[50, 5], Ramp, PoolingLayer[2, 2], FlattenLayer[], 500, Ramp, 10, SoftmaxLayer[]}, "Output" -> NetDecoder[{"Class", Range[0, 9]}], "Input" -> NetEncoder[{"Image", {28, 28}, "Grayscale"}] ]

Out[3]=

Trainieren Sie das Netzwerk drei Trainingsrunden lang.

In[4]:=

lenet = NetTrain[lenet, trainingData, ValidationSet -> testData, MaxTrainingRounds -> 3]

Out[4]=

Testen Sie das trainierte Netz direkt mit zufällig ausgewählten Bildern aus dem Validierungssatz.

In[5]:=

imgs = Keys @ RandomSample[testData, 5]; Thread[imgs -> lenet[imgs]]

Out[5]=

Erzeugen Sie ein ClassifierMeasurements-Objekt aus dem trainierten Netz und dem Validierungssatz.

In[6]:=

cm = ClassifierMeasurements[lenet, testData]

Out[6]=

Ermitteln Sie die Güte des Netzwerks anhand des Validierungssatzes.

In[7]:=

cm["Accuracy"]

Out[7]=

Führen Sie Beispiele der Ziffer 3 an, die fälschlicherweise als 8 klassifiziert wurden.

In[8]:=

cm[{"Examples", 3 -> 8}]

Out[8]=

Visualisieren Sie die Wahrheitsmatrix der Netzwerkvorhersagen in Bezug auf den Validierungssatz.

In[9]:=

cm["ConfusionMatrixPlot"]

Out[9]=