Está formado por dos conjuntos palaciegos: el llamado Palacio Viejo, o Palacio de Doña Elvira, de estilo gótico mudéjar, del siglo XIV, Y el Palacio Nuevo, de estilo renacentista, siglo XV.
Junto al castillo este conjunto fue declarado Monumento Histórico Artístico en 1923 e integrado en la Red Nacional de Paradores de Turismo en 1931, convirtiéndose en el primer Parador levantado sobre un edificio histórico.