Próximo a la Plaza Mayor de la Villa de Ayllón se encuentra un antiguo edificio, 'El Palacio de la Emperatriz Eugenia de Montijo', blasonado con las armas de Portocarrero y Osorio.
Se dice que la emperatriz pasó varias temporadas en Ayllón.