『ゼロから作るDeep Learning』読書会＠高円寺(4)その3

(7shiさんに聞きたいこと)

下記のリンクで、あの時間に見えてきたことは
http://playground.tensorflow.org/

内容的には下リンク内の下記文言のことと
同じと思うけど、あってますか ?

https://rekken.g.hatena.ne.jp/murawaki/20161017/p1

>>引用開始
システムの中身を直感的に説明するのは難しい。LeCun 御大の例えをもじって、ノブを使った説明を試みる。機械翻訳というブラックボックスには、上部と下部に大量の穴があいていて、それぞれ入力と出力に対応する。上部の適切な穴に水を注ぐと、下部の適切な穴から水が出てくる。上部と下部の穴の間には複雑にからまったパイプがあり、途中で分岐 (というより分身) したり合流したりするし、途中に水を貯めている箇所があったりもする。そういう箇所にはノブがあって、水の流れを制御する。実際には、量が増幅されたり、負の値をとったりするので、水で例えるのは微妙だけど。
(中略)
学習とはノブを調整すること。ノブを適切に調整していないと、別の穴からちょろちょろと水が漏れたりする。正しい穴だけから水が出るようにノブを調整する。こういった階層の深いシステムであっても、充分な教師データを与えれば適切にノブを調整できることがわかった。それが深層学習とよばれているもの。とはいえ、途中を流れている水を見ても、何が起きているのか人間には (システム設計者ですら) さっぱりわからない。
そろそろノブの例えが厳しくなってきたのでここでやめにするが、最後に一つ付け加える。システム内部は、水の流れが多いか少ないかという数量で制御されている。確かに入り口と出口は離散的だけど、中は連続値で支配されている。記号の出る幕はない。
引用終了<<

この例えの文の内容以上のことは
具体に見えるという点以外は
自分には、同じに見えてしまいます。

playground.tensorflow.orgのリンクは
面白いと思います。
ですので、価値云々の話ではなく

自分が話が見えていないのではないかということに
関して、なにが違うかを聞きたいのです。

話は変わります。
上記の機械学習の水での例えの文で
自分が気になる点を抜き出すと
>途中を流れている水を見ても、何が起きているのか人間には
>(システム設計者ですら) さっぱりわからない。
ここの部分が、機械学習の重要な性質というか
限界に思えます。

昔、ninetiesさんの数学講座のあとで
7shiさん、「ハンドル名を覚えていない」さん、alumicanさん、自分
の懇親会で、ninetiesさんが
学習した内容は、誰にもわからない。
引き継いで応用していくことはできないから

人間世界のように、単純に理論を発展展開さ
せることはできない ?

というようなニュアンスの話を聞いた記憶があります。

自分のフィーリング解釈では、ざっくり
「機械学習は、人間世界でいうところの
暗黙知しか獲得できない。」
ということなんじゃないかと思いました。

人間なら、暗黙知を形式知に変換して
抽象化し、例えば数式などにしてから
書物の形にして、引継ぎ、発展していけます。

ニュートンの「巨人の肩の上に乗る」
といわれるやつです。

更に妄想すると、定理の自動証明なども
暗黙知だけでは、どうしようもできなくて
なにか、ブレークスルーが必要なんじゃないかと?

機械翻訳についても、文脈理解が必要なので
(機械学習で、画像と同じパターン認識で
文法の様なものも、見えてくるようですが)
文法をとばして、文脈まで見えるように
ならないんじゃないかと思います。

googleは、少なくとも、日本語文法は無視する
と宣言していて、アルゴリズムの力と火力で
単語列のパターンを対応付けて
google翻訳している模様。

ブレークスルーを見つければ
彼らを、出し抜けるかも !?