Ocupa el lloc d’una antiga masia enderrocada. Se sap que en 1408 Bernat Ermengol el va deixar a Ramon Berenguer I el “Kastrum de Fornels”.
L’edifici no conserva altre tret de fortificació que el fet de ser bastit damunt d’un talús artificial, al que s’accedeix per un pont que tal vegada fou llevadís. La construcció ha perdut els pocs elements característics que posseïa en les obres que s’hi han estat practicant durant la dècada dels 90.
Al costat del castell s’hi conserva una capella dedicada a Santa Maria (1122), actualment en ruïnes. La imatge de Santa Maria donà peu a una llegenda recollida per Joan Amades. Els encontorns del castell, tan característics, han estat utilitzats durant molts anys per fer-hi la representació del Pessebre Vivent.