西爽亭は天明年間（1781～1789）に建てられたと伝えられ、儒学者管茶山（かんちゃざん）によって名付けられました。　通りに面した御成門や、座敷棟にある弐台玄関、茶室等が特徴的です。また、慶応４年（1868）幕末の戦禍から玉島を救ったと言われる熊田恰（くまたあたか）が西爽亭の次の間で自刃したと言われています。母屋は現在会議室やギャラリーとして利用されています。