建久年間、相良頼景罪を得て肥後国球磨郡多良木に下り、ついで元久２年その子永（長）頼は人吉庄の地頭に補せられた。爾後相良氏は人吉庄を中心として発展、中世を通じて南九州の豪族の一として重きをなし、豊臣氏を経て徳川氏に至ってもこの地に封ぜられ、歴代相継ぎ明治維新に至った。
球磨川の左（南）岸に位する高さ約３０メートル余、独立状の丘陵に営まれ、西麓やや離れて北流、球磨川に注ぐ胸川を西端とする。胸川に臨んで大手門を置き、西麓には一段高い居館の一郭を含む可成り広い地域があり、北西麓には球磨川に向って水の手門を開く、本丸は丘陵の最高所にあり、北西に向って階段状に２の丸、３の丸を配し、麓まで急峻で地形の利を採り入れ、本丸を除き城壁門等すべて石垣をもって堅めている。居館の北端、水の手門に臨む石垣の頂部には槹出があって武者返と称せられているが、築城史上興味がある。
正治元年築城と伝えられるが、盖し中世球磨川沿いのこの丘陵に山城として営まれ、近世に入って改修、城地石垣等を拡充整備したものなるべく、寛永１６年完成といわれている。
江戸時代球磨城ともいわれているが繊月城の雅称をもって知られ、相良氏の居城として、また城の規模に見るべきものあり、学術上重要な遺跡である。