crash.academy

  • その他
公開日:2017/10/18

エントロピーと情報理論 -- 量子情報理論入門 --

はじめに

タグ

  • 情報理論
  • エントロピー
  • 丸山不二夫
  • 統計力学、
このエントリ
ーをはてなブックマークに追加
156
761

講座紹介

本動画では、丸山不二夫氏(丸山事務所代表)がIT技術者向けに情報理論の解説をします。
内容としては、情報という概念が、21世紀の科学で中心的な役割を果たそうとしている大きな流れを、エピソードを中心に進めていきます。

▼Agenda
-イノベーションと科学
-エントロピーをイメージする
-19世紀 ボルツマン:統計力学とエントロピー
-20世紀 シャノン:情報理論とエントロピー
-21世紀 エンタグルメントとエントロピー
-なぜ今、「情報理論なのか」
※購入後にダウンロードできる資料では、Appendixに情報理論の複雑さについて、ディープラーニングとエントロピーの内容も含まれています。

※本動画は9月22日に開催されたマルレク第3回(富士ソフト アキバプラザ アキバホール )を撮影したものです。

▼参考情報
1. ボルツマンのエントロピー
 19世紀、ボルツマンは、産業革命を牽引した蒸気機関の効率化を目指す中で経験的に発見された「エントロピー」という量に、原子論の立場から、明確な理論的な説明を与えました。彼がマックスウェルと共に、その成立に大きく貢献した統計力学の手法は、現代の技術の基礎である、20世紀の物理学に大きな影響を与えることになります。

2. シャノンの情報量
 20世紀、シャノンは、ボルツマンと全く異なる情報の分野で、全く異なるアプローチをとりながら、ボルツマンらと同じ定式を満たす量を発見します。その量もエントロピーと呼ばれることになります。シャノンの理論は、20世紀の情報・通信の世界の発展に、中心的な役割を果たすことになります。

3. ディープ・ラーニングとエントロピー
 21世紀初めにAI技術の一部として普及したディープラーニング技術では、エントロピーに起源を持つコンセプトが利用されています。Cost関数として使われるcross entropy関数や、分類器として利用されるSoftMax関数がその例です。それらの背景と意味を理解することは、ディープ・ラーニング技術を深く理解する上で、重要なことです。

4. エネルギーと情報 -- 21世紀の科学の展望
 21世紀の物理学の変化を変化を牽引している主役の一人は、情報理論です。ブラックホールやエンタングルメントといった奇妙な物理現象の謎を解き明かすのに、量子情報理論と複雑さの理論は、欠かせない武器の一つになりつつあります。

授業一覧

はじめに お試し視聴 14:26
イノベーションの科学 お試し視聴 14:43

エントロピーをイメージする

29:31

19世紀 ボルツマン:統計力学とエントロピー|20世紀 シャノン:情報理論とエントロピー

24:55

21世紀 エンタグルメントとエントロピー Part1

09:48

21世紀 エンタグルメントとエントロピー Part2

13:10

21世紀 エンタグルメントとエントロピー Part3

14:28

21世紀 エンタグルメントとエントロピー Part4|なぜ今、「情報理論なのか」

10:17