crash.academy

  • 人工知能・AI
公開日:2017/05/22

RNNとLSTMの基礎 -- Sequence to Sequence --

RNNとLSTMの基礎

タグ

  • RNN
  • ニューラル・ネットワーク
  • LSTM
  • ニューラル機械翻訳
このエントリ
ーをはてなブックマークに追加
66
359

講座紹介

RNNは、時系列データや自然言語のテキストのようなシーケンシャルなデータを、別の時系列データや別の言語のテキストのような、同じくシーケンシャルなデータに変換する時によく使われるニューラル・ネットワークのモデルです。

講演では、まず、これまで取り上げたFull Connectのニューラル・ネットワーク(入力も出力も「順序」を持たない)や、Convolutional ニューラル・ネットワーク(時間のない空間的な配置から特徴を抽出する)との対比で、ネットワークがループを持つRNNの特徴を説明します。

講演では、最もよく使われているRNNのモデルであるLSTM(Long Short Term Memory)にフォーカスして、RNNの基礎を解説します。

※本講座は2017/2/28に開催されました、マルレク第5回「 RNNの基礎 -- Sequence to Sequence 」の内容を収録したものになります。
【主催】マルレク 
【授業内容】
 1.RNNとLSTMの基礎
    ・オープニング
 2.RNNの驚くべき能力について
    ・機械が学習・理解できることの拡大
    ・RNNの能力について
    ・RNNによる文の生成 (ニューラルネットによる文章の生成)
    ・RNNの驚くべき能力
 3.文法の階層性 Chomsky Hierarchyについて
    ・Chomsky Hierachy
    ・Chomsky HierachyとDeep Learningでの文法理解の取り組み
 4.Googleニューラル機械翻訳の登場
    ・英語と日本語の差異から見るGoogle翻訳
    ・Googleのニューラル機械翻訳
 5.RNNとは何か
    ・RNNは、どう作られるか?
    ・RNNをグラフで表す--展開形と再帰形
 6.Sequence to Sequence
    ・RNNのバリエーション
 7.RNNでのφ ( WX + b ) の応用
    ・基礎式 φ ( WX + b )
    ・RNNのグラフ表記を式で表す
    ・いったん放棄されたRNN
    ・DNNとRNNの違い
    ・RNNの復活
 8.LSTMの基礎
    ・LSTMをRNNと比較する
 9.LSTMは「記憶」を持つ
    ・LSTMが「記憶」を持つメカニズム
    ・LSTMの振る舞いを可視化する
    ・LSTM--Gateを持つRNN
    ・Sigmoid関数の特徴
    ・LSTMの構成を、別のスタイルで概観する
    ・LSTMの働きを詳細に見る
 10.Input UnitとInput Gateの働き
    ・Input UniteとInput Gateの働き
    ・Input UnitとInput Gateの働きを式で表す
    ・Memory Unit とForget Gateの働き
    ・Memory Unit とForget Gateの働きを式で表す
    ・Memory Cellの式
    ・2つのGateとMemory Cellの動作
 11.Status UnitとOutput Gateの働き
    ・Status UnitとOutput Gateの働き
    ・Output Gateの働き
    ・Status Unitの働き
    ・Status UnitとOutput Gateの働きを式で表す
    ・LSTMの働きを式で表す
 12.LSTMのバリアント
    ・Peephole
    ・GRU
 13.TensorFlowでのLSTMの定義
    ・TensorFlowでのLSTMの定義(Python)
    ・CNTKでのLSTMの定義
    ・MXNetでのLSTMの定義
    ・TensorFlow FoldでのLSTMの技術

授業一覧

RNNとLSTMの基礎 お試し視聴 02:58
RNNの驚くべき能力について お試し視聴 12:52
文法の階層性 Chomsky Hierarchyについて お試し視聴 04:28

Google ニューラル機械翻訳の登場

13:10

RNNとは何か

09:51

Sequence to Sequence

06:37

RNNでのφ ( WX + b ) の応用

10:18

LSTMの基礎

06:01

LSTMは「記憶」を持つ

10:01

LSTM -- Gateを持つRNN

10:16

Input UnitとInput Gateの働き

07:05

Status UnitとOutput Gateの働き

04:31

LSTMのバリアント

03:40

TensorFlowでのLSTMの定義

05:08