AIに手を出してみる。TensorFlowで学ぶディープラーニング入門８

皆さん、こんにちは、こんばんわ。

His First Japan 合同会社代表社員の字引淳です。

f:id:a-j1b1k1:20170618215400p:plain

前回は、「この本のChapter03-1はChapter02-1に書かれていることの拡張でした。」という、ことを書きました。

今回は、「この本のChapter03-2に書かれていることはChapter03-1の拡張でした。」ということを書きます。

異なる点は、出力層の活性関数がソフトマックス関数を利用していることと、MINISTを利用していること。そして、結果のグラフです。

これをみると、今まで学んだものを使って、文字の解析を行なっていることがわかります。

ここで、MINISTが初めて出てきますが、これは、機械学習のデータセットで要は、手書き文字の標本データというものでしょうか？

ここからダウンロードできます。

今回の資料をまとめたものは、以下になります。

f:id:a-j1b1k1:20170723103037j:plain

今回は、特に難しいことはありませんが、前回の記事の内容と合わせて考えてみると、

その流れが記載されているということがわかりますね。

こちらでも当然、隠れ層のノードの数、活性関数、学習率、最適化処理の回数を調整して出てくる結果を見てみました。

簡単なところというと、あまり考えずに先へ進みがちですが、熟読すると、意外とそこに作者の意図が潜んでいることもありますね。

実際に書き換えるとどうなるかを見て見ます。

実際にやって見た結果は、以下に貼り付けておきます。

ここで伝えたいのは、やはり、隠れ層のノードの数、活性関数、学習率、最適化処理の回数を調整して、「最適な処理の時間内に最大の正解率を出せる組み合わせを見つけよう！」というものですね。

例えば、隠れ層のノードの数を２に変え、最適化回数を２０００のまま、活性関数をハイパボリックタンジェント変えてみると、結果はこうなりました。

一瞬で終わる。

しかし、１行しか出ていない。

２０００回回した後の正解率が極端に低い。

Step: 2000, Loss: 414.523560, Accuracy: 0.113500

元のソースに戻して、隠れ層のノードの数を２に変えた場合

やはりすぐに終わるが、

しかし、５の行がない。

Step: 2000, Loss: 2973.787842, Accuracy: 0.910200

隠れ層のノードの数が、少なすぎると決められた最適化回数の中で処理を仕切れないということでしょうか？

では、逆にノードの数が多かった場合はどうなるでしょうか？

ノードの数を２００００にすると、どうなるでしょう。

残念。

ResourceExhaustedErrorTraceback (most recent call last)
エラーで処理を確認できませんでした。
ツールの限界ですね。

では、隠れ層のノード数を単純に倍(1024*2)にして見ました。

正解率が上昇しています。

Step: 2000, Loss: 965.670593, Accuracy: 0.972800

本書に載っているサンプルそのままの場合、
Step: 2000, Loss: 990.451965, Accuracy: 0.970600

この結果から、隠れ層のノードの数が多くなることで、

メリット：正解率がアップする。

デメリット：処理時間が長くなる。

今回のサンプルでは、９７％くらいの正解率で折り合いをつけています。

倍にしても0.002%くらいしか上がってないので、妥当だろうと思います。

あとは、活性関数をハイパボリックタンジェントに変えてみるとどうなるかをやって見ますね。

隠れ層のノード数を2048、活性関数をハイパボリックタンジェント


Step: 2000, Loss: 1039.675293, Accuracy: 0.966800

使えているけど、若干正解率が下がった。

Musashitokiwa.LLC Blog