En la actualidad, del primitivo recinto defensivo se conservan restos del castillo junto a la iglesia y cementerio, restos de las antiguas viviendas en la ladera del monte, y parte del recinto amurallado del conjunto desde la base del cerro hasta la rasante superior.   Del castillo quedan en pie los restos de una robusta pared construida en tapial y piedra. En un paramento de ladrillo y sillares de piedra caliza que se encuentra algo más adelantado se abre la gran puerta de acceso en arco de medio punto, de ladrillo. En la cara posterior de este paramento quedan adheridos restos de los paramentos de los muros interiores, que fueron muy robustos. Quedan además importantes restos de la muralla que protegía el recinto fortificado, y unos sesenta metros de la muralla baja que cercaba la población, de gran anchura con algunas saeteras, un camino de ronda y restos de una de las puertas de entrada al recinto.   La ermita del Castellar y el cementerio estaban a poniente; la iglesia se derrumbó por acción de las aguas del Ebro, volviendo a construirse frente a la desembocadura del Jalón a mediados del siglo XIX para albergar la imagen de la Virgen de el Castellar.