施主のジェームスは神戸生まれのイギリス人である。日本語能力を武器に貿易会社カメロン商会において貿易に従事し、大正12年にはカメロン商会の社長となり、神戸の貿易商で最も成功した人物の一人となった。また、神戸外国人コミュニティの中核的存在でもあった。
　ジェームス家住宅は、ジェームス山開発の最初期にあたる昭和９年に、その住宅地最南端の敷地を選んで建設された。太平洋戦争後にＧＨＱによる接収を受けたものの、後にジェームスに返還された。昭和27年にジェームスが逝去した後、昭和31年に三洋電機創業者井植歳男が買い取り、自邸とした。その後、三洋電機株式会社の所有となり、同社の迎賓施設として利用されてきた。現在、新たな活用方法が模索されている。
　住宅建設後の増改築としては、井植氏購入の翌年頃、主屋に接続する平屋の和館が増築されるとともに、主屋北側庭園西寄りの、門正面に当たる部分が和風に改造されている。平成７年の阪神淡路大震災では、建物は大きな被害を受けなかったものの、プール等が損傷している。平成17年に、屋根瓦の葺き替えやスチール建具の改修、２階客室内部などの内外装に関わる部分の改修を行っている。この改修では、竹中工務店の手によりオリジナルに忠実な修理がおこなわれている。