Castell a godwyd gan y Normaniaid yw Castell Castell-nedd, ac a roddodd ei enw i'r dref a dyfodd o'i gwmpas, sef Castell-nedd, tref sirol Castell-nedd Port Talbot yn ne Cymru.
Codwyd y castell gwreiddiol gan Robert, Iarll Caerloyw, yn y 12fed ganrif. Mae ei hanes cynnar yn dywyll ond ei brif bwrpas oedd gwarchod ffin orllewinol Arglwyddiaeth Morgannwg.
Ymododwyd ar y castell gan arglwyddi Cymreig Morgannwg ar ddiwedd y flwyddyn 1183.
Yn y flwyddyn 1231 arweiniodd y Tywysog Llywelyn Fawr ymgyrch mawr yn ne Cymru. Llosgwyd y castell a'r dref gan ei fyddin. Ailadeiladwyd y castell ar ôl hynny ond fe'i dinistrwyd eto ar ddechrau'r 14eg ganrif fel rhan o wrthryfel lleol yn erbyn Hugh Despenser, Arglwydd Morgannwg.