芸豫海峽に属する荒神瀬戸にあって、南北朝時代村上義弘がこれに據ったと伝えられ、以后累代の居城であると共に伊豫水軍の根據地となった。
海峽の咽喉を扼する位置にある能島の頂上を削平して本丸となし、約三間下方の東、西、南の三面を廻って二の丸がある。北東に突出している出丸は矢櫃と称せられ、海峽を隔てて鵜島に対し、更に南方鯛崎島と相対する処に目一つの鼻と称する出丸がある。三の丸は二の丸の西に接して鍵形の平坦地をなし、その北東に小入江があって船舶の集合に適し、附近を鵜瀬という。能島の南稍々西に狹い海峽を隔てて鯛崎島があり、その頂上は削平されていて、出丸として使用されていた。
能島の南部海岸の岩礁上に多数の円柱穴の跡があり、直径約六、七寸のものが多いが、稀に約三尺に逹するものもあり、深さは著しくない。西岸約三十六間、東岸約三十五間の間に約五六尺の間隔で数列をなしていて桟橋等工作物の跡と認められる。この外小規模のものは北部海岸に二箇所、矢櫃の海岸に一箇所、北東岸に二箇所、更に西岸の平地の砂浜にも本柱根基の埋沒しているものが少くない。これらは何れも桟橋の遺構と認められる。
鯛崎島の西岸の岩礁上約五十六間にわたる間に円柱穴の列があって、桟橋の跡と認められ、別に南東の岩礁上にも桟橋の跡がある。北東岸能島に対する岩礁上にも同様の柱穴があって、能島と連絡する構造物があったと認められる。
このように本城跡は特殊な構造がよく遺存しているばかりでなく、史上重要な瀬戸内海水軍の據地として夙に著名であり、学術上価値ある遺跡である。