市西部の高砂公園内に位置する。当初は紀州街道に架設された。花崗岩を用いた、橋長１１ｍ、幅員４．５ｍの石造３連桁橋で、橋板を支える縦桁を、４本の石材よりなる橋脚の頂部の横桁で受ける。幕末における主要街道に築かれた道路橋の一つ。

茶室は主屋居室部の東に玄関を挟んで連続している。平屋建，切妻造・桟瓦葺で，平面はともに床・棚付の４畳半間と６畳間の２室からなり，縁や控え室を巧みに配している。床柱に面皮柱を用いるなど，全体を数寄屋風の意匠でよくまとめた茶室建築である。

井上家の屋敷地の北東と南東には濠が廻っている。油蔵は屋敷地東隅の角地に建ち，米や油等の貯蔵に用いられていた。切妻造・本瓦葺で，腰を縦板張，上部を漆喰塗りとし，濠に面した平側にも荷揚げ用の戸口を設ける。小規模だが，しっかりとしたつくりの土蔵。

蔵は主屋の西，屋敷地西北面の中央に建つ。切妻造・本瓦葺で，街路に面した北西面は塀と合わせて高い縦板張，他は漆喰塗とし，東面に戸口を設ける。内部は中２階建で，道具蔵として什器などを納めた。通風等の高窓を設けるなど，用途に合わせたつくりになる。