学部・大学院区分
Undergraduate / Graduate		情報学部
時間割コード
Registration Code		1000151
科目区分
Course Category
専門基礎科目（自然情報学科，人間・社会情報学科 対象）
科目名　【日本語】
Course Title		情報理論（自然・人社）
科目名　【英語】
Course Title		Information Theory
コースナンバリングコード
Course Numbering Code		SIS-01-2008-J
担当教員　【日本語】
Instructor		東中 竜一郎 ○
担当教員　【英語】
Instructor		HIGASHINAKA Ryuichiro ○
単位数
Credits		1
開講期・開講時間帯
Term / Day / Period		秋１期 月曜日 １時限
Fall1 Mon 1
対象学年
Year		２年
2
授業形態
Course style		講義
Lecture
開講系（学部）・開講専攻（大学院）
Subject
共通
必修・選択
Required / Selected
選択


授業の目的　【日本語】
Goals of the Course(JPN)
クロード・シャノンによって創始された情報理論は，さまざまな形態の情報を効率よく・正確に蓄積・伝達するための系統的手法の基礎を与える学問である．本講義では，情報理論の基本的な考え方と理論的枠組みを理解することを目的とする．
授業の目的　【英語】
Goals of the Course
Information theory, founded by Claude Shannon, is a discipline that provides the foundation for systematic methods of efficiently and accurately storing and transmitting information in various forms. The purpose of this course is to understand the fundamental concepts and theoretical framework of information theory.
到達目標　【日本語】
Objectives of the Course(JPN)
まず，情報量とエントロピーの定義を理解する．次に，情報源という概念を理解し，ハフマン符号等の具体的な情報源符号化法を修得する．一方で，情報源符号化の能力の限界を表すクラフトの不等式，情報源符号化定理を理解する．続いて，エントロピーの拡張として相互情報量の定義を理解する．最後に，通信路と通信路容量の概念を理解し，いくつかの重要な通信路の具体例を学ぶとともに，ハミング距離と最尤復号を含む誤り訂正符号の考え方を学ぶ．
到達目標　【英語】
Objectives of the Course
First, students will understand the definitions of self-information and entropy. Next, they will understand the concept of information sources and acquire specific source coding methods such as Huffman coding. At the same time, they will understand the Kraft inequality and the source coding theorem, which represent the theoretical limits of source coding. Subsequently, students will understand the definition of mutual information as an extension of entropy. Finally, they will understand the concepts of communication channels and channel capacity, study concrete examples of important channels, and learn the principles of error-correcting codes, including Hamming distance and maximum likelihood decoding.
授業の内容や構成
Course Content / Plan
情報の伝達・蓄積の効率化および高信頼化に関する基礎理論であるシャノンの情報理論について，以下の授業計画に沿って学ぶ．

1. 情報理論の概要・事象の情報量
2. 1個の確率変数のエントロピー
3. 2個の確率変数のエントロピー
4. 相互情報量およびn個の確率変数のエントロピー
5. 情報源と符号化
6. 平均符号語長の下界
7. 理想符号語長とエントロピー・情報源符号化定理
8. 通信路と符号化
Students will study Shannon's information theory, which provides the foundational framework for efficient and reliable transmission and storage of information, following the course plan outlined below.

1. Overview of Information Theory / Self-Information of Events
2. Entropy of a Single Random Variable
3. Entropy of Two Random Variables
4. Mutual Information and Entropy of n Random Variables
5. Information Sources and Coding
6. Lower Bound on Expected Codeword Length
7. Ideal Codeword Length, Entropy, and Source Coding Theorem
8. Communication Channels and Channel Coding
履修条件・関連する科目
Course Prerequisites and Related Courses
成績評価の方法と基準
Course Evaluation Method and Criteria
講義の出席20％，講義で課す課題80％，合計100点満点で60点以上を合格とする．
教科書・参考書
Textbook/Reference book
次の教科書を使用する。
楫勇一編著，情報・符号理論，OHM大学テキスト, オーム社
課外学習等（授業時間外学習の指示）
Study Load(Self-directed Learning Outside Course Hours)
講義において説明した理論を理解するために課題を与える．
授業開講形態等
Lecture format, etc.
対面（回によりオンライン／オンデマンド）
遠隔授業（オンデマンド型）で行う場合の追加措置
Additional measures for remote class (on-demand class)