近代日本を代表する画家横山大観（１８６８～１９５８）の自宅兼画室及び庭園で，不忍池の西に位置する。大観は東京美術学校（現在の東京藝術大学）に入学し，明治３９年（１９０６）に，日本美術院を設立した岡倉天心とともに茨城県五浦に移る。その２年後に居宅が火災で全焼したため，東京の下谷区に仮寓を得，翌年この地に本宅を構え，死去するまでここで日本画の創作を行った。
住居は，昭和２０年（１９４５）の東京大空襲で蔵を残して焼失したが，同２９年（１９５４）に大観の強い意思によってほぼ同じ形に再建された。 木造２階建ての数寄屋風日本家屋で，１階部分には焼失前にもあったものを再現した客間の鉦鼓洞(しょうこどう)などがある。２階は画室で，窓を多く設けて自然光を十分に採り入れている。
主庭は建物の南側に広がり，中央部に細長く折れ曲がる池泉を設ける。建物から見て右奥には築山が築かれ，その前には細川護立(もりたつ)侯爵から贈られた庭石を据える。大観は庭園に植栽する樹木について，自らスケッチで示し，植栽時にも植える位置や向きを指示した。また，樹木などの庭園内の素材を多く画題に選んでいる。
自然の風情を好んだ大観の思想及び感性が大きく反映され，日本の近代の美術史及び造園史の展開を考える上で貴重である。