El castillo viejo fue erigido por los árabes entre los siglos XII y XIII sobre una fortaleza romana. Sólo conserva dos de sus torres.
El castillo nuevo se construyó en el siglo XV. Su torre del Homenaje tiene una altura de 25 metros, es de cinco plantas y está rematada por unas garitas defensivas, con saeteras y almenas para distintas armas. En ella se puede contemplar el escudo heráldico de los Álvarez de Toledo.
Está formado por dos conjuntos palaciegos: el llamado Palacio Viejo, o Palacio de Doña Elvira, de estilo gótico mudéjar, del siglo XIV, Y el Palacio Nuevo, de estilo renacentista, siglo XV.
Junto al castillo este conjunto fue declarado Monumento Histórico Artístico en 1923 e integrado en la Red Nacional de Paradores de Turismo en 1931, convirtiéndose en el primer Parador levantado sobre un edificio histórico.
