分類性能を測定する
MNISTの手書き数字データベースで訓練した,数字識別器の正確さを測定する.
訓練データと検証データを取得する.
In[1]:=
![Click for copyable input](assets.ja/measure-classification-performance/In_70.png)
resource = ResourceObject["MNIST"];
trainingData = ResourceData[resource, "TrainingData"];
testData = ResourceData[resource, "TestData"];
In[2]:=
![Click for copyable input](assets.ja/measure-classification-performance/In_71.png)
RandomSample[trainingData, 5]
Out[2]=
![](assets.ja/measure-classification-performance/O_58.png)
入力として28x28のグレースケール画像を取る,たたみ込みニューラルネットワークを定義する.
In[3]:=
![Click for copyable input](assets.ja/measure-classification-performance/In_72.png)
lenet = NetChain[{
ConvolutionLayer[20, 5], Ramp,
PoolingLayer[2, 2],
ConvolutionLayer[50, 5], Ramp,
PoolingLayer[2, 2],
FlattenLayer[],
500, Ramp, 10,
SoftmaxLayer[]},
"Output" -> NetDecoder[{"Class", Range[0, 9]}],
"Input" -> NetEncoder[{"Image", {28, 28}, "Grayscale"}]
]
Out[3]=
![](assets.ja/measure-classification-performance/O_59.png)
3回の訓練ラウンドでネットワークを訓練する.
In[4]:=
![Click for copyable input](assets.ja/measure-classification-performance/In_73.png)
lenet = NetTrain[lenet, trainingData, ValidationSet -> testData,
MaxTrainingRounds -> 3]
Out[4]=
![](assets.ja/measure-classification-performance/O_60.png)
検証集合から無作為に抽出された画像で直接,訓練されたネットワークを評価する.
In[5]:=
![Click for copyable input](assets.ja/measure-classification-performance/In_74.png)
imgs = Keys @ RandomSample[testData, 5];
Thread[imgs -> lenet[imgs]]
Out[5]=
![](assets.ja/measure-classification-performance/O_61.png)
訓練されたネットワークと検証集合からClassifierMeasurementsオブジェクトを生成する.
In[6]:=
![Click for copyable input](assets.ja/measure-classification-performance/In_75.png)
cm = ClassifierMeasurements[lenet, testData]
Out[6]=
![](assets.ja/measure-classification-performance/O_62.png)
検証集合でのネットワークの正確さを得る.
In[7]:=
![Click for copyable input](assets.ja/measure-classification-performance/In_76.png)
cm["Accuracy"]
Out[7]=
![](assets.ja/measure-classification-performance/O_63.png)
誤って8と分類された3をリストする.
In[8]:=
![Click for copyable input](assets.ja/measure-classification-performance/In_77.png)
cm[{"Examples", 3 -> 8}]
Out[8]=
![](assets.ja/measure-classification-performance/O_64.png)
検証集合に対するネットワーク予測の混同行列のプロットを得る.
In[9]:=
![Click for copyable input](assets.ja/measure-classification-performance/In_78.png)
cm["ConfusionMatrixPlot"]
Out[9]=
![](assets.ja/measure-classification-performance/O_65.png)