我々を驚かす情報を大きい情報といえる。情報量はその情報が発生する生起確率と直接関係する。生起確率が小さい事件が発生すると聞いた人が驚くので情報量の大きさをその情報の生起確率の逆数で定量化できる。電圧の単位をボルト、V、で表すように情報の単位をビット、bit、で表す。

　ある情報Xの生起確率をP（X）とすると、逆数は1／P（X）となる。

　人間が情報を刺激として受け取る場合には人間の感覚器官の特性により刺激と感覚との関係がウエバー・ヘヒナーの法則により対数特性を持つことが知られている。小さな刺激を変化すると敏感に感知できるが、大きな刺激を変化しても変化をそれほど大きく感じないのが対数特性である。

　電気の単位にdB（デジベル）が使われるのもこの対数特性に合わせたからである。

　ある情報Xが生起確率P（X）で発生したときの情報量I（X）は

と定義される。ここで、log₂は2を底とする対数である。10を底とする対数log₁₀を常用対数と呼び一般に使われているが情報量は2を底とする対数が使われ、その単位をビット（bit）で表す。bitは2進単位binary digit、の略である。

（a）1ビット単位

　1と0の符号で構成される情報を2元符号と呼ぶ。デジタル符号は2元符号で構成される図4・1のように1か0の2つの符号を発生する情報源Xを2元情報源Xと呼ぶ。

　2元情報源Xから1の生起確率P（1）＝1／2、0の発生確率も同じP（0）＝1／2として発生する情報量を1ビットの単位と定義する。

（4・1）式において

　P（X）＝1／2とおくと

　

となり1ビットの情報が発生する。コインを投げたときに表か裏でそれぞれ1／2の情報が発生するのでコインは1ビット情報源と言える。生起確率が小さい情報源ほど大きな情報を発生する。競馬の穴馬の賞金が大きいのは優勝する確率が小さいからである。

　情報を電気信号に変換して通信を行う。情報の強弱に対応させて連続的に信号を変化させるのがアナログ信号で、1又は0の不連続（離散的という）に変化させるのがデジタル信号である。中波ラジオやFMラジオはアナログ信号が使われ、コンピュータはデジタル計算が行われる。アナログ信号とデジタル信号については「第2章電子回路の基礎」に説明してある。

　デジタル信号は；1. 雑音に強い、2. 誤りの検出や訂正ができる、3. 安定なデジタル素子が使用できる、4. コンピュータとの組合せに適する、などの利点があるが、1. 誤りの判読する、2. 周波数帯域幅が広くなる、3. デジタル回路が複雑となる、などの欠点がある。最近の技術でこれらの欠点が解決されてデジタル通信が普及しつつある。

　アナログ信号からデジタル信号への変換はアナログ／デジタル変換機（A／Dコンバータ）により作られる。

　2元符号は符号発生器により直接発生することができる。符号発生器は遅延素子と排他的論理和（EX−OR）回路の組合せで構成される。図4・2に符号発生器の一例を示す。

　

　

　図4・2のDは1ビットの遅延回路、＋記号は排他的論理和回路（EX−OR）を示す。Xは発生される2元符号で、遅延回路により1ビット遅延するとDX、2ビット遅延するとD²X、3ビット遅延するとD³X、−−−−のように遅延の数をDの肩につけたベキ数で表す。図4・2の回路では右端D³Xと左端Dの出力DXとのEX−ORをとると

D³X＋DX　（4・3）

図4・2から（4・3）式は発生される符号Xと等しいので

D³X＋DX＝IX　（4・4）

ここで、　IX＝D⁰X　（4・5）

I＝D⁰は遅延がない現在の符号Xを記号IXで表している。

　（4・4）式の意味は、Xの1ビット遅延DXと3ビット遅延D³XとのEX−ORをとると現在の符号IXとなることを式で示している。

（4・4）式はEX−ORの性質から

D³X＋DX＋IX＝0　（4・6）

と書き直せるのでXでまとめると

X（D³＋D＋I）＝0　（4・7）

X・f（D）＝0、ここで、f（D）＝D³＋D＋I　（4・8）

f（D）は符号発生器の伝達関数と呼ばれ遅延単位Dの多項式で表せる。

（4・8）式において、X≠0から符号発生の条件は伝達関数f（D）＝0、となる。

f（D）＝0又は　D³＋D＋I＝0　（4・9）

　（4・9）式は（4・4）式の右辺を左辺へ移項したものと同じなので現在の符号IXは3ビット遅延したD³Xと1ビット遅延したDXとをEX−OR演算したものに等しいことを示している。

　一般に遅延素子Dにシフトレジスタ電子回路が用いられる。シフトレジスタに初期条件を入れるとそれに対応した符号Xが発生される。図4・2の回路で3つのDの初期条件を左端D＝0、2段目D＝0、3段目（右端）D＝1、すなわち

　

（0　0　1）

　

にセットしたとき発生する符号Xは

　

（D³　D²　D　I）

となりXは長さ（周期）7ビットの、（0011101）符号を発生する。

　遅延回路からEX−ORへ取り出す端子の組合せにより異なる2元符号を発生できる。n個の遅延回路から取り出せる組合せは2ⁿ通りあるが、すべてが0となる符号を除くと2ⁿ−1、通りの符号が発生できる。この中で最も長い符号をM系列符号と呼ぶ。M系列符号は雑音と似た性質があるので、擬似雑音（PNコード）と呼ばれる。符号化レーダーやGPSによる測位にPNコードが使用されている。PNコードは雑音や妨害に強いので携帯電話の符号分割多元接続（CDMA）方式にも使用されている。

　遅延素子Dの数nと発生するM系列符号の長さ（周期）Lとの関係は

n：L＝2ⁿ−1

2：3

3：7

4：15

5：31

−：−−

−：−−

のようにnと共に長くなる。通常、2¹⁰−1＝1023ビット長の符号が使用される。

　符号の検出は受信側で送信側と同じ符号を発生させておき論理積（AND）回路を通すと送信と受信が一致した符号のみを検出できる。

　アナログ信号からデジタル信号への変換にはA／D変換器を使用する。変換は標本化と量子化による。標本化と量子化については2・3・2項に説明してある。ナイキストサンプングと呼ぶ最適な間隔でアナログ信号が標本化される。

　コンピュータのプログラムや計算をするための基本回路が論理回路である。2・3・4に論理回路を説明してある。代表的な論理回路は、論理和（OR回路）、論理積（AND回路）、否定（NOT回路）、排他的論理和（EX−OR回路）である。コンピュータはプログラムに従って論理回路で計算を行う。