Open 2017.05.22
crash.academy

RNNとLSTMの基礎

66
359
タグ :

■ 動画紹介

RNNは、時系列データや自然言語のテキストのようなシーケンシャルなデータを、別の時系列データや別の言語のテキストのような、同じくシーケンシャルなデータに変換する時によく使われるニューラル・ネットワークのモデルです。

講演では、まず、これまで取り上げたFull Connectのニューラル・ネットワーク(入力も出力も「順序」を持たない)や、Convolutional ニューラル・ネットワーク(時間のない空間的な配置から特徴を抽出する)との対比で、ネットワークがループを持つRNNの特徴を説明します。

講演では、最もよく使われているRNNのモデルであるLSTM(Long Short Term Memory)にフォーカスして、RNNの基礎を解説します。

※本講座は2017/2/28に開催されました、マルレク第5回「 RNNの基礎 -- Sequence to Sequence 」の内容を収録したものになります。
【主催】マルレク 
【授業内容】
 1.RNNとLSTMの基礎
    ・オープニング
 2.RNNの驚くべき能力について
    ・機械が学習・理解できることの拡大
    ・RNNの能力について
    ・RNNによる文の生成 (ニューラルネットによる文章の生成)
    ・RNNの驚くべき能力
 3.文法の階層性 Chomsky Hierarchyについて
    ・Chomsky Hierachy
    ・Chomsky HierachyとDeep Learningでの文法理解の取り組み
 4.Googleニューラル機械翻訳の登場
    ・英語と日本語の差異から見るGoogle翻訳
    ・Googleのニューラル機械翻訳
 5.RNNとは何か
    ・RNNは、どう作られるか?
    ・RNNをグラフで表す--展開形と再帰形
 6.Sequence to Sequence
    ・RNNのバリエーション
 7.RNNでのφ ( WX + b ) の応用
    ・基礎式 φ ( WX + b )
    ・RNNのグラフ表記を式で表す
    ・いったん放棄されたRNN
    ・DNNとRNNの違い
    ・RNNの復活
 8.LSTMの基礎
    ・LSTMをRNNと比較する
 9.LSTMは「記憶」を持つ
    ・LSTMが「記憶」を持つメカニズム
    ・LSTMの振る舞いを可視化する
    ・LSTM--Gateを持つRNN
    ・Sigmoid関数の特徴
    ・LSTMの構成を、別のスタイルで概観する
    ・LSTMの働きを詳細に見る
 10.Input UnitとInput Gateの働き
    ・Input UniteとInput Gateの働き
    ・Input UnitとInput Gateの働きを式で表す
    ・Memory Unit とForget Gateの働き
    ・Memory Unit とForget Gateの働きを式で表す
    ・Memory Cellの式
    ・2つのGateとMemory Cellの動作
 11.Status UnitとOutput Gateの働き
    ・Status UnitとOutput Gateの働き
    ・Output Gateの働き
    ・Status Unitの働き
    ・Status UnitとOutput Gateの働きを式で表す
    ・LSTMの働きを式で表す
 12.LSTMのバリアント
    ・Peephole
    ・GRU
 13.TensorFlowでのLSTMの定義
    ・TensorFlowでのLSTMの定義(Python)
    ・CNTKでのLSTMの定義
    ・MXNetでのLSTMの定義
    ・TensorFlow FoldでのLSTMの技術

■ コンテンツ一覧

視聴条件:本動画はご購入いただくことで全て視聴できます。


■講師・スピーカー紹介

丸山 不二夫
東京大学教育学部卒業。一橋大学大学院社会学研究科博士課程修了。稚内北星学園大学学長、早稲田大学大学院情報生産システム研究科客員教授等を歴任。オープンソースのコミュニティ活動に積極的に参加。日本Javaユーザー会名誉会長。日本Androidの会名誉会長。クラウド研究会代表。 近年では、日本のIT業界がグローバルな技術イノベーションの一翼を担うことを目標に、連続講演会「マルレク」を主宰し、クラウドコンピューティングや人工知能などの技術について講演を行っている。

丸山事務所(マルレク):  http://www.digital-life365.com/
日本Androidの会:   https://www.android-group.jp/
過去の講演資料:    https://goo.gl/XM5YsT

2016 年9月更新

  • このエントリ
ーをはてなブックマークに追加

関連動画