となり1ビットの情報が発生する。コインを投げたときに表か裏でそれぞれ1/2の情報が発生するのでコインは1ビット情報源と言える。生起確率が小さい情報源ほど大きな情報を発生する。競馬の穴馬の賞金が大きいのは優勝する確率が小さいからである。
4・1・2 アナログ信号とデジタル信号
情報を電気信号に変換して通信を行う。情報の強弱に対応させて連続的に信号を変化させるのがアナログ信号で、1又は0の不連続(離散的という)に変化させるのがデジタル信号である。中波ラジオやFMラジオはアナログ信号が使われ、コンピュータはデジタル計算が行われる。アナログ信号とデジタル信号については「第2章電子回路の基礎」に説明してある。
デジタル信号は；1.雑音に強い、2.誤りの検出や訂正ができる、3.安定なデジタル素子が使用できる、4.コンピュータとの組合せに適する、などの利点があるが、1.誤りの判読する、2.周波数帯域幅が広くなる、3.デジタル回路が複雑となる、などの欠点がある。最近の技術でこれらの欠点が解決されてデジタル通信が普及しつつある。
