Fue construido en es s. XV probablemente sobre una sinagoga judía por orden de María Figueroa, madre de Francisco Álvarez de Toledo. Actualmente el edificio está recuperado y en él se ubica la Oficina de Turismo, con algunas salas destinadas a exposiciones.