授業の目的 【日本語】
Goals of the Course(JPN) | | さまざまな形態の情報を効率よく正確に蓄積し伝達する系統的手法の基礎を与えるのが，クロード・シャノンによって創始された情報理論である。
まず，ある事象のもつ情報量を，その事象が起こる前後の不確かさの差として確率論に基づき定義し，情報量を用いてエントロピーを定義する。
次に，情報源の具体的な符号化法として，ハフマン符号とその最適性，いくつかの可変長符号化，算術符号化，および，情報源が未知の場合の符号化法であるユニバーサル符号化を紹介する。
さらに，符号化性能の限界を表す情報源符号化定理について学ぶ。
なお，線形代数の非常に基本的な事柄（ベクトル，行列の加算・乗算程度）を前提とする（先修条件ではない）。 |
|
|
授業の目的 【英語】
Goals of the Course | | Information theory was founded by Claude E. Shannon and provides the systematic method of representing and transmitting various kind of data in efficient, reliable and secure ways. First, we will define the self-information of an event as the difference of uncertainties before and after that event occurs based on the probability theory. The entropy of an information source is defined as the expected value of the self-information of events related to the source. Next, we will learn some of basic source coding methods such as Huffman coding. We then learn the source coding theorem that tells the ability and limitation of the source coding. We will also learn the basics of mutual information, communication channel and channel coding, simple error-correcting code such as Hamming code and basic knowledge on information security and cryptography.
This course uses basics of linear algebra such as vector, matrix, and operations (addition and multiplication) on them. |
|
|
到達目標 【日本語】
Objectives of the Course(JPN) | | | 情報の伝達，蓄積の効率化，高信頼化に関する基礎理論である情報理論について学ぶ。 |
|
|
到達目標 【英語】
Objectives of the Course | | |
|
授業の内容や構成
Course Content / Plan | | さまざまな形態の情報を効率よく正確に蓄積し伝達する系統的手法の基礎を与えるのが，クロード・シャノンによって創始された情報理論である。
まず，ある事象のもつ情報量を，その事象が起こる前後の不確かさの差として確率論に基づき定義し，情報量を用いてエントロピーを定義する。
次に，情報源の具体的な符号化法として，ハフマン符号とその最適性，いくつかの可変長符号化，算術符号化，および，情報源が未知の場合の符号化法であるユニバーサル符号化を紹介する。
さらに，符号化性能の限界を表す情報源符号化定理について学ぶ。
1. 導入および数学的準備
2. 情報量とエントロピー
3. 情報源
4. シンボル符号
5. 情報源符号化定理
6. 可変長符号化，算術符号化
7. ユニバーサル符号化
8. 総括 | |
|
|
履修条件・関連する科目
Course Prerequisites and Related Courses | | | 線形代数の基本的事項（ベクトル，行列とそれらの乗算など）を学んでいること。 | |
|
|
成績評価の方法と基準
Course Evaluation Method and Criteria | | | 小テスト・演習課題の評価25％，期末試験75%，合計100点満点で60点以上を合格とする。 | |
|
|
教科書・参考書
Textbook/Reference book | | 次の教科書を使用する。
楫勇一編著，情報・符号理論，OHM大学テキスト, オーム社 | |
|
|
課外学習等（授業時間外学習の指示）
Study Load(Self-directed Learning Outside Course Hours) | | | 講義において説明した理論を理解するために課題を与える。 | |
|
|
授業開講形態等
Lecture format, etc. | | |
|
遠隔授業（オンデマンド型）で行う場合の追加措置
Additional measures for remote class (on-demand class) | | |
|