El palacio del Gobernador se construyó durante la época de Felipe III, siendo su válido más influyente el Duque de Lerma y Marqués de Dénia, Francisco Gómez de Sandoval y Rojas que lo vemos en la escultura presidiendo la explanada.