親セグメントは複数の子セグメントを持つことができ、逆に子セグメントは必ず1つしか親セグメントを持つことができない。このデータ構造はちょうど木を逆さにした形状に似ていることから木構造ともいわれる。この理論は1960年代の前半には確立され、1968年IBMにより発表、実用化された。
親から子へ階層構造に沿ってデータがアクセスされるので処理が早くなる反面、ある想定された業務処理をもとにデータベースを作成した場合、後に想定外の業務処理が発生し、階層構造に沿らないデータのアクセスが行われると、操作が繁雑になり、処理パフォーマンスも低下する。また、そのデータベースの構造を把握しておかないとデータアクセスができない。したがって、複雑な構造になった場合、データアクセスには専門家が必要になり、一般利用者が直接アクセスするのは困難である。
階層データベースの特徴をまとめると以下のようになる。
・ 階層構造に沿ってデータアクセスが行われるので効率がよく処理も早い。
・ ただし、階層構造に沿ったデータアクセスが行われないと操作が複雑になる。
・ データベースの構造を把握しないとデータアクセスができない。
・ データアクセスさせるため、専門家が必要である。