ニューラルネットワークは生物の神経ネットワークをモデル にしています。 しかしながら歴史的にはニューラルネットワークの分野における インスピレーションの源の大部分は 高性能の、あるいは「知的」といっても良いような 人間の脳が通常行なっているのに似た処理能力をもった人工的なシステム をつくり出したいという欲望から生まれており、またそれによって人間の脳を より理解することも可能であろうというところから生まれているのです。
ほとんどのニューラルネットワークシステムはある種の "訓練"規則をもっており、それによって訓練データに基づいた ネットワークの接続点の重み付け調整を行ないます。 (訳注: 「重み」とは神経細胞におけるシナプスの接続強度に相当する係数です。 この「重み」を変化させることで"神経細胞の塊"である脳の 「学習」プロセスをシミュレートしています。) 言い換えれば、ニューラルネットワークシステムが訓練によって得た数々の事例から "学習"し(子供が数々の「犬」の事例をもとに「犬」というものの 認識を学ぶように)、訓練によるデータを越えて一般化する能力を発揮するのです。
ニューラルネットワークはそれぞれの演算が互いに独立で処理されるため、 並列性について非常に高い可能性を持っています。 大規模並列処理と高い接続性をニューラルネットワークの特徴だとする人もいます。 しかしこのような条件ではたとえば単純な線形回帰(2つのユニットとバイアスのみをもった 最小構成のフィードフォワードネットワーク)のようなシンプルなモデルがニューラル ネットワークの仲間ではないと定義されてしまいますが、これはニューラルネットワークの 特殊なケースとして扱うと便利なのです。
ニューラルネットワークの定義のいくつかを以下に示します:
ニューラルネットワークプロセッサについてさらに詳しく知りたい場合は