En la parte superior del Castillo nos encontramos con los restos del Palacio del Gobernador que mandó construir el V Marqués de Dénia Francisco Sandoval y Rojas. Hoy solo queda una de las dos plantas.
