« 相殺フィードバックを再考 | トップページ | ソフトウェアの政治的影響力とは何だろうか »

2020/07/01

シグモイド関数とソフトマックス関数の違い

以下はメモ書き。

教師あり学習には、クラス分類と回帰の2種類がある。
ディープラーニングの出力層の活性化関数は種類分けする。
2クラス分類ならシグモイド関数。
他クラス分類ならソフトマックス関数。
回帰ならば、恒等関数。

機械学習 - なぜシグモイド関数では多クラス分類できず、ソフトマックス関数では多クラス分類できるのか?|teratail

回帰は予測するので、出力時に何も変えずにそのまま渡す。

シグモイド関数は滑らかなので微分できるゆえに、層を重ねるごとに伝播させやすい。
しかし、勾配消失/爆発しやすい。

ソフトマックス関数は、総和が1になる性質を持つので、確率分布とみなせる。
だから他クラス分類に使える。

|

« 相殺フィードバックを再考 | トップページ | ソフトウェアの政治的影響力とは何だろうか »

統計学・機械学習・深層学習」カテゴリの記事

コメント

コメントを書く



(ウェブ上には掲載しません)


コメントは記事投稿者が公開するまで表示されません。



« 相殺フィードバックを再考 | トップページ | ソフトウェアの政治的影響力とは何だろうか »