Los orígenes del castillo de Fatetar no están muy claros, pues nunca se ha realizado un estudio detallado del mismo. Se han encontrado unas pequeñas láminas de sílex probablemente del Neolítico, pero al no haberse realizado ninguna excavación, no podemos asegurar nada relativo a esa época. Si tenemos en cuenta la historia del legendario rey Héspero, podríamos suponer que el castillo fue en origen un observatorio astronómico o tal vez un templo. Con el paso de los tiempos esta plaza fue sucesivamente reforzada por los turdetanos e íberos (de época íbera solo se conserva un amuleto en forma de colgante de barro cocido amarillento que simula una gota de agua).
Según algunos autores, los cimientos de castillo pueden ser de origen romano, dados los hallazgos de esta época realizados en las laderas, tales como trozos de cerámica romana (sigillata), monedas, incluso un trozo de coraza de unas estatuas.
También es probable que los visigodos hicieran de este enclave su fortaleza, pues de esa época son una ventana ciega con tres estrellas de seis puntas que se encuentra junto al brocal del aljibe, una piedra con decoración visigoda que actualmente se encuentra en la cripta de la iglesia parroquial, y una hebilla de cinturón.
Durante la ocupación musulmana, Abderraman III construyó el castillo árabe en el año 914, dejando como alcaide a Yamil Uqba al Balawi al mando de un nutrido número de caballeros. Los historiadores musulmanes hablan de una vía de comunicación que pasaba por Espera.
Tampoco se conoce con seguridad cuándo pasó a maos cristianas. Pudo ser conquistado por Fernando III el Santo en el año 1251, pero lo más seguro es que lo hiciera Alfonso X el Sabio en 1255 al conquistar Jerez. De todos modos el castillo quedó en manos musulmanas, pasando definitivamente a manos cristianas en 1264, cuando los castellanos ocuparon y poblaron toda la comarca.
Junto con otros castillos de la Sierra y la provincia sirvió como fortaleza defensiva en la frontera entre los territorios cristianos y árabes. Al principio el castillo de Fatetar dependía de Arcos junto con una pequeña aldea, así como Carissa y Santiago de Criste (seguramente Santiago en las Viñas) y gozaba de los privilegios dados por Alfonso X a Arcos, otorgados en Sevilla y Toledo.
En 1304 Fatetar, junto con Santiago de Christe y Carissa, fue concedido a Fernán Pérez Ponce de León por privilegiado dado en León por Fernando IV, el 4 de septiembre de dicho año. En 1375 pasa al poder de Alonso Fernández de Portocarrero y seguidamente a la casa de los Ribera. En 1394 don Per Afán de Ribera compró la villa, término y castillo de Espera. Desde entonces el castillo pertenece a esta familia hasta que don Fadrique Enríquez de Ribera, en 1539, lo da en propiedad a la iglesia parroquial de Espera. A partir del siglo XVI el castillo queda abandonado. Sin embargo, ya hacía tiempo que su capilla estaba abierta al culto, quizás desde el tiempo de la conquista castellana, y sirvió como parroquia hasta 1610 en que se termina la de Santa María de la Victoria, posteriormente llamada Santa María de Gracia. En 1755 fue parcialmente derruido como consecuencia del terremoto de Lisboa, y en 1810 fue rehabilitado por los franceses, al considerarlo posición estratégica.
Todavía pueden verse alguna de estas obras, como por ejemplo el enlucido rosáceo de varias paredes y suelos. Una vez finalizada la Guerra de la Independencia, el castillo volvió a caer en el abandono, y cada vez eran mayores sus ruinas. En 1984, por medio del P.E.R., se limpió el castillo y se llega hasta el suelo de unas habitaciones excavadas en la roca y que se desconocían hasta ahora. En el castillo todavía quedan restos muy claros de la dominación musulmana. Por ejemplo, la torre del Homenaje de forma cuadrangular, aunque con las esquinas exteriores recortadas. También nos queda una ventana ciega en forma ojival enmarcada en un alfiz y abundantes restos en murallas y paredes.
También se conservan varias monedas de plata (dirhem) y bronce encontradas en las laderas, así como varios dedales de bronce para trabajar el cuero. Se encuentra en estado de ruina consolidada. En el año 1985 fue parcialmente restaurado, y se le añadieron algunos elementos. Es propiedad de la Iglesia Católica. Fue declarado Bien de Interés Cultural con la categoría de Monumento (código: 110170002). Bajo la protección de la Declaración genérica del Decreto de 22 de abril de 1949, y la Ley 16/1985 sobre el Patrimonio Histórico Español. En el año 1993 la Junta de Andalucía otorgó un reconocimiento especial a los castillos de la Comunidad Autónoma de Andalucía. Es de acceso libre. Más información en el teléfono (956) 720 011.