El castillo de Moros, según Aurelio Cabañas, fue costruido en el siglo IX por Ayyub ben Habib, gobernante musulmán de Calatayud, más tarde conquistado por Alfonso I. Se trataba de un castillo bien fortificado y defendido en 1357 durante la guerra con Castilla, cayendo en manos de Pedro I en 1362, quien colocó como alcaide a Pedro González de Mendoza, un año más tarde pasó a la Corona de Aragón tras sucesivos ataques. Los restos de este castillo se sitúan sobre un cerro rocoso en lo más alto de la población. Hoy quedan vestigios de un muro de piedra y ladrillo con una torre rectangular al borde del precipicio. Esta es de unos 3 por 5 metros y alcanza los 10 de altura y dos cuerpos con restos de bóvedas, adosados a las paredes. El inferior es de mampostería y argamasa y conserva la puerta de ingreso, situada en altura y muy deformada. El cuerpo superior está construido en ladrillo y ha perdido el remate. No existe en Moros un acceso sencillo para alcanzar la base del castillo, salvo trepar por la roca que lo mantiene, siendo peligroso tanto por la pendiente como por lo abrupto del terreno. Según Manuel Morte, alcalde de Moros, está previsto la consolidación de la torre, así como una vía de acceso a la misma.