高遠の地はもと諏訪一族（藤沢・高遠・保科）の支配にあり、武田氏が進出して高遠城を築き、その後、保科・鳥居氏の居となり、元祿年間には一時幕領となったが、内藤氏が摂津富田より入部すると、幕末まで城主の地位にあった。
　城は三峰川・藤沢川の合流する段丘先端部に位置する平山城で、本丸を中心とした三重式の築城形式をとっている。さらに本丸南に南郭、法幢院郭、その下に[[腰郭状]こしぐるわ]の笹郭、勘介郭が配され、各郭は深い空堀で隔てられ、郭の外周は高い土塁をめぐらされている。また郭の外方には一部武家の屋敷割が遺存しているなど、高遠城はきわめて戦国的な城郭の構えをとどめている。
　三の丸には、万延元年、藩重役の屋敷を改築して学問所とした藩校進徳館も残るが、すでに旧規を失っている。しかし城内に遺存する藩校の例は少なく、これも含めて指定する。