敷地一帯は鶴ヶ岡城の三の丸にあたります。
１６２２（元和８）年三代忠勝が入部、その時からこの地を、御用屋敷としました。作庭年代は不詳ですが、東北地方まれに見る典型的書院庭園として貴重であるといわれています。
　池を隔て築山の正面中腹に石を立て庭景の中心とし、左手には枯滝を組み、その一帯に峡谷の風景をつくり、その下には荒磯風につくっています。右手には亀頭形の名石の出島をもうけ、奥深い入り江をつくり静かなおもむきをみせています。もとは右手築山の後ろに遠く鳥海山を借景としてとりいれたといわれてます。１９７１（昭和４６）年大修復をおこない、１９７６（昭和５１）年国の名勝に指定されました。