Wikipedia preview

出典(authority):フリー百科事典『ウィキペディア（Wikipedia）』「2015/09/03 20:02:55」(JST)

wiki ja

ニューラルネットワーク(神経回路網、英: neural network, NN)は、脳機能に見られるいくつかの特性を計算機上のシミュレーションによって表現することを目指した数学モデルである。研究の源流は生体の脳のモデル化であるが、神経科学の知見の改定などにより次第に脳モデルとは乖離が著しくなり、生物学や神経科学との区別のため、人工ニューラルネットワーク(人工神経回路網、英: artificial neural network, ANN)とも呼ばれる。

1 概要
2 歴史
3 代表的な人工ニューラルネットワーク
- 3.1 フィードフォワードニューラルネット (順伝播型ニューラルネットワーク、英: Feedforward Neural Network, FFNN)
- 3.2 RBFネットワーク
- 3.3 自己組織化写像
- 3.4 リカレントニューラルネット (フィードバックニューラルネット)
- 3.5 確率的ニューラルネット
- 3.6 スパイキングニューラルネットワーク
4 関連項目
5 参照
6 解説サイト

概要

シナプスの結合によりネットワークを形成した人工ニューロン（ノード）が、学習によってシナプスの結合強度を変化させ、問題解決能力を持つようなモデル全般を指す。狭義には誤差逆伝播法を用いた多層パーセプトロンを指す場合もあるが、これは誤った用法である。

ニューラルネットワークは、教師信号（正解）の入力によって問題に最適化されていく教師あり学習と、教師信号を必要としない教師なし学習に分けられる。明確な解答が用意される場合には教師あり学習が、データ・クラスタリングには教師なし学習が用いられる。中間層が2層以上ある深層学習においては、出力に近い最後の中間層を教師あり学習で、それよりも入力に近い側を教師なし学習で学習する方法がジェフリー・ヒントンらにより提案されている。

結果としていずれも次元削減されるため、画像や統計など多次元量のデータで線形分離不困難な問題に対して、比較的小さい計算量で良好な解を得られることが多い。現在では、特徴量に基づく画像認識、市場における顧客データに基づく購入物の類推など、パターン認識、データマイニングとして応用されている

歴史

1943年、ウォーレン・マカロックとウォルター・ピッツが形式ニューロンを発表した。
1958年、フランク・ローゼンブラットがパーセプトロンを発表した。
1969年、マービン・ミンスキーとシーモア・パパートが著書『パーセプトロン』の中で、単純パーセプトロンは線形分離不可能なパターンを識別できない事を示した。
1982年、ジョン・ホップフィールドによってホップフィールド・ネットワークが提案された。
1985年、ジェフリー・ヒントンらによりボルツマンマシンが提案された。
1986年、デビッド・ラメルハートらにより誤差逆伝播法（バックプロパゲーション）が提案（再発見）された。
2006年、ジェフリー・ヒントンらによりオートエンコーダ^[1]およびディープ・ビリーフ・ネットワーク^[2]が提案され、これが、ディープラーニングへと発展した。

代表的な人工ニューラルネットワーク

フィードフォワードニューラルネット (順伝播型ニューラルネットワーク、英: Feedforward Neural Network, FFNN)

最初に考案された、単純な構造の人工ニューラルネットワークモデル。ネットワークにループする結合を持たず、入力ノード→中間ノード→出力ノードというように単一方向へのみ信号が伝播するものを指す。

多層パーセプトロンの模式図

単純パーセプトロン
多層パーセプトロン

教師信号によるニューラルネットワークの学習は心理学者ドナルド・ヘッブが1949年に提唱したシナプス可塑性についての法則、「ヘッブの法則」に基づく。神経細胞間のネットワークの繋がりが太くなり、その結果、特定の細胞への情報伝達経路が作られる(情報が流れやすくなる)、これを学習とする。パーセプトロンは学習の結果、集合を超平面により分割する。この学習は有限回の試行で収束することがマービン・ミンスキーによって1969年に証明された。

1986年にデビッド・ラメルハートらにより誤差逆伝播法（バックプロパゲーション）が提案され、多層パーセプトロンの学習モデルとして使用されている。バックプロパゲーションは主に中間層が1層の時に使われ、中間層が2層以上ある時は深層学習と呼ばれ、入力に近い側の層をオートエンコーダで学習してから積み上げていく方法などが提案されている。

各層をと置くと、下記漸化式で表現される。3層の場合は、が入力層、が中間層、が出力層。

とはパラメータ。は行列、とは縦ベクトル。を重みパラメータ、をバイアスパラメータと呼ぶ。は活性化関数と呼び、単純パーセプトロンでは使われていなかった、つまり、であったが、すると線形になってしまうので、現在は何らかの非線形関数を使う。微分可能な単調関数を使うことが一般的。最もよく使われるのはシグモイド関数の。

学習は誤差を最小化する最適化問題を解く。最適化問題の解法はバックプロパゲーションを使うのが一般的。誤差は二乗和誤差を使うのが一般的。汎化能力を高めるために、誤差に正則化項を加算することが多い。2次の正則化項を追加する場合、誤差にを加算する。はの要素。は実数のパラメータ。

RBFネットワーク

誤差逆伝播法に用いられるActivation functionに放射基底関数を用いたニューラルネットワーク

RBFネットワーク（英語版）
一般回帰ニューラルネットワーク（GRNN、General Regression Neural Network）- 正規化したRBFネットワーク

自己組織化写像

自己組織化写像はコホネンが1982年に提案した教師なし学習モデルであり、多次元データのクラスタリング、可視化などに用いられる。自己組織化マップ、コホネンマップとも呼ばれる。

自己組織化写像
学習ベクトル量子化（英語版）

リカレントニューラルネット (フィードバックニューラルネット)

フィードフォワードニューラルネットと違い、双方向に信号が伝播するモデル。すべてのノードが他の全てのノードと結合を持っている場合、全結合リカレントニューラルネットと呼ぶ。

ホップフィールド・ネットワーク

確率的ニューラルネット

乱数による確率的な動作を導入した人工ニューラルネットワークモデル。モンテカルロ法のような統計的標本抽出手法と考えることができる。

ボルツマンマシン
ベイジアンネットワーク

スパイキングニューラルネットワーク

ニューラルネットワークをより生物学的な脳の働きに近づけるため、活動電位（スパイク）を重視して作られた人工ニューラルネットワークモデル。スパイクが発生するタイミングを情報と考える。ディープラーニングよりも扱える問題の範囲が広い次世代技術と言われている。ニューラルネットワークの処理は逐次処理のノイマン型コンピュータでは処理効率が低く、活動電位まで模倣する場合には処理効率がさらに低下するため、実用する際には専用プロセッサとして実装される場合が多い。