Wikipedia

「ディープラーニング」の版間の差分

履歴の双方向閲覧
← 古い編集新しい編集 →
削除された内容 追加された内容
ビジュアルウィキテキスト
m編集の要約なし
1行目:
{{Machine learning bar}}
'''ディープラーニング'''（{{Lang-en-short|deepDeep learning}}）または'''深層学習'''（しんそうがくしゅう）とは、（狭義には4層以上<ref name="asou">深層学習{{cite book|和書|author=麻生英樹 他、監修: 人工知能学会|title=深層学習 |chapter= 深層学習手法の全体像|year=2015|publisher=近代科学社|pages=xiv|isbn= 9784764904873 }}</ref><ref group="注釈">2層なら単純[[パーセプトロン]]。3層なら階層型ニューラルネット。これらと比較して深い層の階層型ニューラルネットを、深層（階層型）ニューラルネットと呼ぶ。</ref>の）多層の[[ニューラルネットワーク]]（ディープニューラルネットワーク、{{Lang-en-short|deep neural network}}; DNN）による[[機械学習]]手法である<ref>深層学習 人工知能学会 深層学習手法の全体像xiii</ref>。深層学習登場以前、4層以上の深層ニューラルネットは、局所最適解や勾配消失などの技術的な問題によって十分学習させられず、性能も芳しくなかった。しかし、近年、[[ジェフリー・ヒントン|ヒントン]]らによる多層ニューラルネットワークの学習の研究や、学習に必要な計算機の能力向上、および、Webの発達による訓練データ調達の容易化によって、十分学習させられるようになった。その結果、音声・画像・自然言語を対象とする問題に対し、他の手法を圧倒する高い性能を示し<ref name="Okatani_DL">岡谷貴之 深層学習 (機械学習プロフェッショナルシリーズ)、2015年4月8日、まえがき、ISBN 978-4061529021</ref>、2010年代に普及した<ref>深層学習 人工知能学会、2015年11月5日、xiv、ISBN-13: 978-4764904873<name="asou"/ref>。
 
== 概要 ==
深層学習の登場以前、2層構造の単純[[パーセプトロン]]、3層構造の多層パーセプトロン（階層型ニューラルネット）よりも多くの層を持つ、4層以上の多層ニューラルネットの学習は、局所最適解や勾配消失などの技術的な問題によって、十分に学習させられず、性能も芳しくない冬の時代が長く続いた。しかし、2006年にニューラルネットワークの代表的な研究者である[[ジェフリー・ヒントン]]らの研究チームが、[[ボルツマンマシン|制限ボルツマンマシン]]による[[オートエンコーダ]]（自己符号化器）の深層化に成功し、再び注目を集めるようになった。この際、発表した論文から、これまでの多層ニューラルネットよりもさらに深いネットワーク構造を意味する、ディープネットワークの用語が定着した。元々はジェフリー・ヒントンらの開発したディープラーニングは層が直列されたシンプル単純な構造をしていたが、現在のアルゴリズムは複数の分岐やループのある複雑な[[グラフ]]構造を持つ。そのため、基本技術をまとめて複雑なグラフ構造を簡単に実現できるようにした[[ライブラリ]]も公開されている。
 
[[1979年]]に提唱された[[ネオコグニトロン]]など、ニューラルネットワークの多層化の発想自体はコンピュータ黎明期からあり続けたものの、莫大な計算コストが問題となって研究は遅々として進まず、長らく低迷していた{{sfn|小林雅一|2015|p=107}}。
 
しかし、コンピュータのハード性能の急激な進歩，インターネット普及によるデータ収集の容易化，CPU，[[CPU]]よりも単純な演算の並列処理に優れた[[Graphics Processing Unit|GPU]]の低価格化、また、それらの計算リソースの拡張を礎として、画像処理におけるディープラーニングの有用性がコンテストで世界的に認知された[[2012年]]頃からは急速に研究が活発となり、第三次人工知能ブームが到来したとされている<ref>{{Cite web|url=http://enterprisezine.jp/article/detail/6471?p=2|title=【第四回】今、最も熱いディープラーニングを体験してみよう（2ページ）|publisher=エンタープライズ|date=2015-1-14|accessdate=2015-5-30}}</ref>。
 
== 歴史 ==
{{節stub}}
{{See also|ニューラルネットワーク#歴史}}
人間の脳の構造を模した機械学習における最初の手法である[[パーセプトロン]]が考案されたのは1957年であるが、マシンスペックの大幅な不足や、2層からなる単純パーセプトロンでは[[排他的論理和]]の認識ができないなどの欠点が露呈したため、研究が大きく続けられることはなかった{{sfn|小林雅一|2013|p=92}}。その後、1980年代より、排他的論理和の問題を解決した扱うことができる3層からなる多層パーセプトロンの学習を可能にする[[バックプロパゲーション]]が開発されたが、非効率的なメカニズムや、動詞の過去形など複雑な認識ができない（そもそも3層ニューラルネットで任意関数は全て近似可能であり、[[大脳新皮質]]がなぜ3層以上存在するのかが不明であった）などの要因により、1990年代後半には沈静化した<ref>{{Cite web|url=http://wirelesswire.jp/2015/05/30505/|title=ディープラーニングはビジネスにどう使えるか?|publisher=WirelessWire News|date=2015-5-20|accessdate=2015-5-21}}</ref>{{sfn|小林雅一|2013|p=94}}。
 
長らく冬の時代が続いていたニューラルネットワークであるが、2006年に[[ジェフリー・ヒントン]]によって積層自己符号化器（スタックドトオートエンコーダ）など多層にネットワークを積み重ねる手法が提唱され、さらに2012年には物体の認識率を競うILSVRCにおいてジェフリー・ヒントン率いる[[トロント大学]]のチームがディープラーニングによって従来の手法（エラー率26%）に比べてエラー率17%と実に10%もの劇的な進歩を遂げたことが機械学習の研究者らに衝撃を与えた。その後もILSVRCでは毎年上位はディープラーニングを使ったチームが占めるようになり、エラー率はすでに5%程度にまで改善している<ref>[https://tech.nikkeibp.co.jp/it/atcl/column/14/090100053/091800010/ ［脳に挑む人工知能1］驚異のディープラーニング、その原型は日本人が開発 | 日経 xTECH（クロステック）]</ref>。
 
今日のディープラーニングにつながる世界的に最も先駆的研究として、日本の福島邦彦（NHK放送技術研究所、その後大阪大学基礎工学部生物工学科）によって1979年に発表された[[ネオコグニトロン]]<ref>{{Cite web|url=http://dbnst.nii.ac.jp/pro/detail/498|title=ネオコグニトロン|accessdate=2015-6-30}}</ref><ref>{{Cite web|url=http://search.ieice.org/bin/summary.php?id=j62-a_10_658&category=A&lang=J&year=1979&abst=|title=位置ずれに影響されないパターン認識機構の神経回路のモデル --- ネオコグニトロン ---|publisher=電子通信学会論文誌A|date=1979-10-1|accessdate=2017-8-16}}</ref>が挙げられる<ref>{{Cite web|url=http://techon.nikkeibp.co.jp/article/INTERVIEW/20150521/419523/?ST=tomict |title=「ネオコグニトロンはまだ進化する」、画像向けディープラーニング「CNN」の父に聞く|date=2015-5-22|accessdate=2015-9-3}}</ref><ref>{{Cite web|url=http://www.4gamer.net/games/999/G999902/20150829007/|title=［CEDEC 2015］画像認識ではすでに人間を凌駕。ディープラーニングが日本を再生する|publisher=4gamer|date=2015-8-29|accessdate=2015-9-1}}</ref>。ネオコグニトロンには自己組織化機能があり、自ら学習することによってパターン認識能力を獲得（概念の形成）していく。応用例として、福島らは手書き文字データベース（ビッグデータ）から自己学習によって手書き文字認識能力（各文字の概念）が獲得されることを実証した。しかし、当時は「手書き文字認識方式の一つ」と誤解され、その重要性についての認識が世間に広がらなかった。
41行目:
</ref>。2016年から2017年にかけては、いずれも世界トップクラスの棋士である[[大韓民国|韓国]]の[[李世ドル|李世乭]]と[[中華人民共和国|中国]]の[[柯潔]]と対戦し、2016年の李世ドルとの5番勝負では4勝1敗、2017年の柯潔との3番勝負では3連勝を収めた<ref>{{cite news|date=2016-03-16|url=http://japanese.joins.com/article/276/213276.html|title=＜囲碁：人間ｖｓ人工知能＞李世ドル「必ず勝ちたかったが、３連敗した時より今日のほうが辛かった」|publisher=[[中央日報]]|accessdate=2018-02-07}}</ref><ref>{{Cite web|url=http://www.nihonkiin.or.jp/match_news/match_result/alphago33.html|title=
AlphaGoが最終戦も勝利で3連勝|accessdate=2018-02-07|author=|date=2017-05-27|publisher=[[日本棋院]]}}</ref>。
{{See also|DQN (コンピュータ)|Google DeepMind|AlphaGo|AlphaGo対李世ドル}}
 
中国では[[天網]]に代表されるようにディープラーニングが国民に対する当局の監視強化を目的に急速に普及しており<ref>{{cite news|date=2017-06-30|url=http://jp.wsj.com/articles/SB11588421679375374726504583234572468806316|title=顔認証で市民監視、中国の新たなAIツール |publisher=[[ウォール・ストリート・ジャーナル]]|accessdate=2018-02-07}}</ref><ref>{{cite news|date=2017-11-18|url=https://jp.reuters.com/article/china-facial-recognition-firms-idJPKBN1DF0PT|title=アングル：中国の顔認証技術に活況投資、監視用の需要も後押し|publisher=[[ロイター]]|accessdate=2018-02-07}}</ref><ref>{{cite news|date=2018-02-03|url=http://wpb.shueisha.co.jp/2018/02/03/99109/|title=中国の「超ＡＩ監視社会」－－新疆ウイグル自治区では“体内”まで監視！|publisher=[[集英社]]|accessdate=2018-02-07}}</ref>、世界のディープラーニング用サーバーの4分の3を占めているとされる<ref>{{cite news|date=2018-01-20|url=http://japanese.engadget.com/2018/01/19/300m/|title=中国、新疆ウイグル自治区で顔認識システム運用をテスト。指定地域から300m以上離れると当局に警告|publisher=[[Engadget]]|accessdate=2018-02-07}}</ref>。米国政府によれば2013年からディープラーニングに関する論文数では中国が米国を超えて世界一となっている<ref>{{cite news|date=2017-08-16|url=https://wired.jp/2017/08/16/america-china-ai-ascension/|title=中国が「AI超大国」になる動きは、もはや誰にも止められない|publisher=[[WIRED]]|accessdate=2018-02-07}}</ref>。ヒントンらと並んで「ディープラーニングの父」と呼ばれている{{仮リンク|ヨシュア・ベンジオ|en|Yoshua Bengio}}は中国が市民の監視や独裁政治の強化に人工知能を利用していることに警鐘を鳴らした<ref>{{cite news|date=2019-04-01|url=https://www.sankeibiz.jp/macro/news/190401/mcb1904010710001-n1.htm|title=「深層学習の父」、中国のＡＩ利用に警鐘|publisher=[[Sankei Biz]]|accessdate=2019-04-05}}</ref><ref>{{cite news|date=2019-02-02|url=https://www.bloomberg.com/news/articles/2019-02-02/deep-learning-godfather-bengio-worries-about-china-s-use-of-ai|title=Deep Learning ‘Godfather’ Bengio Worries About China's Use of AI|publisher=[[ブルームバーグ]]|accessdate=2019-04-05}}</ref>。
85行目:
}}</ref>。ネオコグニトロンの時から深層であったが、近年は深層であることを強調するため、深層が頭につき、深層畳み込みニューラルネットワークと呼ばれることもある。自然言語処理に対する応用もなされはじめた。
 
=== スタックドトオートエンコーダ ===
まず3層の[[オートエンコーダ]]で学習を行い、学習が完了したら次の層(4（4層目)）をオートエンコーダとして学習する。これを必要な分だけ繰り返していき、最後に全層の学習を行う。事前学習とも呼ばれる。類似技術にディープビリーフネットワーク、ディープボルツマンマシンなどがある。
 
=== Residual network ===
入力データを出力に変える変換を学習するのではなく、[[残差]]を学習する。通常の多層ニューラルネットより[[勾配]]消失がおきにくく、はるかに多層化できる。実験的には1000層まで学習されたものもある。欠点としては、入力次元数と出力次元数を変えることができない。
 
=== 敵対的生成ネットワーク(GANs) ===
{{Main| 敵対的生成ネットワーク}}
2つのネットワークが相反した目的のもとに学習するネットワークモデル。discriminatorDiscriminatorが損失関数の役目を担う。二乗誤差最小化などでは、ピークが一つしか無いことを仮定しているが、discriminatorはニューラルネットであるのでピークを複数持つ確率分布を近似でき、より一般の確率分布を扱うことができる。
 
=== ボルツマンマシン ===
110行目:
== 特有の問題 ==
=== 勾配消失問題 ===
確率的勾配法は誤差から勾配を計算して中間層のウェイト重みを修正するが、シグモイド関数などは見てすぐにわかる通り、勾配が0に近い領域が存在する。偶然その領域に進むと勾配が0に近くなり、ウェイト重みがほぼ修正されなくなる。多層NNでは一カ所でも勾配が0に近い層が存在すると、それより下の層の勾配も全て0に近くなるため、確率的には層数が増えるほど学習が難しくなる。詳しくは[[バックプロパゲーション]]、[[活性化関数]]も参照のこと。
 
=== 過学習 ===
132行目:
複数の次元の最大値を出力する関数。CNNのプーリングと同じ計算である。高性能と言われるが、性質上、次元が減少する。[[特徴選択]]も兼ねていると言える。
 
===ドロップアウト (Dropout) ===
[[ドロップアウト]]はランダムに任意のニューロン（次元）を何割か無視してしまう技術である。入力データを増やせずとも、次元を減らすことで解の[[有意]]性を上げることができる。ドロップアウトして得た学習結果は、テスト時には同時に使用し、結果は平均して用いる。これは[[Random forest]]と同様、検出率の低い識別器でも並列化することで[[信頼度]]を上げることができるためである。
 
139行目:
{{See also|正則化|逆問題|回帰モデル}}
 
=== バッチ正則化 (Batch Normalization) ===
バッチ学習を行う際に、バッチ正則化層を設け、白色化 (入力データを平均 0、分散 1 に正則化) する。従来は、内部共変量シフト (internal covariance shift) を抑えることで、学習が効率的に進むとされていたが、現在では単に内部共変量シフトだけによるものではないと考えられている<ref>[https://arxiv.org/abs/1806.02375 {{Bracket|1806.02375}}バッチ正規化について]</ref><ref>[https://github.com/arXivTimes/arXivTimes/issues/942 Understanding Batch Normalization · Issue #942 · arXivTimes/arXivTimes · GitHub]</ref><ref>[https://jinbeizame.hateblo.jp/entry/understanding_batchnorm 論文紹介 Understanding Batch Normalization - じんべえざめのノート]</ref>。
 
「https://ja.wikipedia.org/wiki/ディープラーニング」から取得