敷地はかつて西園寺公望(1849-1940)が明治32年(1899)に別荘を構え、伊藤博文邸の西隣に位置することから「隣荘」と呼ばれた場所であり、敷地内には「陶庵」と呼ばれる木造茅葺きの瀟洒な建物があった。大正6年(1917)に西園寺がこの土地建物を売却するにあたり、当時三井銀行の重役であった池田成彬(1867-1950)が人(竹越与三郎)を介してこの土地建物を購入し、以後は池田家が大磯別邸として利用した。
成彬はその後、大正9年(1920)年に近隣の王城ヶ谷に土地を購入し、翌年からそこを家庭園芸場として利用し始め、長男の成功(1902-1971)が5年間の英米留学から帰国した昭和2年(1927)にそこを株式会社池田農園へと発展させた(昭和10年には日本園芸株式会社に改称)。同園は成彬が監査役を、長男の成功が専務取締役を務め、2,500坪の敷地に9室800坪の温室を構え、主として成功が英国で学んだ洋ランの栽培と品種改良を行った。
昭和7年(1932)12月には「陶庵」を別の場所に移築し、曾禰中條建築事務所の設計、竹中工務店の施工による現在の鉄筋コンクリート造地下1階、地上2階建ての洋風別邸を建設した。別邸の設計を担当した中條精一郎(1868-1936)は、成彬と同郷(山形県米沢市)の親友であり、大正15年(1926)に竣工した麻布本邸の設計も中條が担当した(施工は竹中工務店)。
昭和20年(1945)4月の空襲で麻布本邸が壊滅すると、成彬は大磯に居を移し、昭和25年(1950)に大磯別邸で逝去した(享年83)。建物はその後、昭和27年(1952)に帝国銀行、昭和29年(1954)に三井銀行の所有となり、三井銀行役員寮として長く使用されたが昭和55年(1980)頃から利用履歴がなく、平成12年(2000)に管理人が退去し、令和3年(2021)に国所有となり、現在に至る。