仙鳥館は、元禄11年（1698）、後の5代岩国藩主吉川広逵の住居として建設されたもので、同年11月20日、2歳の広逵は母と共に完成した仙鳥館に移り住んだ。以後、主として、藩主子女を養育する建物として利用された。明和5年（1768）から7年にかけて、書院の改築など大規模な改造が行われている。現在の建物は、弘化3年（1846）建築のものであり、既存の建物を解体し、その跡に本建物を建設したとされる。