2016/10/12に DeepMind がニューラルネットワークモデル DNC (Differentiable Neural Computers)についての論文を発表した。
海馬のように一時記憶する機能を付加することで、対象物と一時記憶との差分をとることできる。その差分を認識することで、過去にはできなかった複雑な処理が可能になったとのこと。
すごい進歩だとは思います。ですが・・・(私は数学やら機械学習やらは専門外なので、的外れかもしれませんが)現状のDeepLearningはモデルをつくることに特化しすぎているように思います。
現状・・・Aを入れたらBを出力する。それを最適化するようにトレーニングしていく。
私的に
- Aを入れたら、A’という機械が認識しやすい記憶に変換される。
- Bを入れたら、B’という機械が認識しやすい記憶に変換される。
- Bを学習する過程で、記憶A’と記憶B’を効率化・省エネ化
- 記憶A’、記憶B’をもとに出力A”、B”を生成する。
入力Aと出力A”の差と必要な記憶量を勘案して、最適な記憶の方法を学習していく・・・こんな風にできたらいいのかなと。
記憶の最適化っていう部分が大事じゃないかと思うんです。
現状のDeepLearningはただ変換しているだけ。なんとなく、これでは足りない気がします。
人間の学習システムの面白い部分は、知れば知るほど記憶が効率化され、少ない情報で多くを認識できるようになることだと思います。
人間では不可能ですが、機械学習でつくった記憶は、他に移植して利用することができるかも。それができたら、どんどんこの分野が発展しそう。
コメント