村境には、東に鬼岳(2,818m)、前聖岳(3,013m)、茶臼岳(2,604m)、光岳(2,591m)、南に朝日山(1,667m)、熊伏山(1,653m)がそびえ、村の地積は海抜350m(中心部420m)から3013mまでの高低差をもつ。遠山川流域の僅かな平坦地に中心集落があり、支流域や比較的傾斜の緩かな山腹に人家、耕地が点在し、集落数は39数えられる。
歴史をたどると、平安時代後半に江儀遠山庄が成立していたが、戦国時代に入り、遠山景広は、北は大鹿村、南は遠江国北部へと領土を拡大し、第二代遠山土佐守は、徳川家康から父祖伝来の六ヶ村を安堵された。(村中央部の小高い丘に、郷土資料館〔和田城・写真1〕がつくられており、その前庭に、家康と遠山土佐守の対面の像〔写真2〕がおかれている。)