El trastámara Juan II concedió el Señorío de la Villa de Ayllón a don Álvaro de Luna quien, en 1423, sería nombrado Condestable de Castilla.
La presencia del Condestable en Ayllón atrajo a una corte de mandatarios. Entre las familias más ilustres que vivieron en Ayllón cabe citar los Acuña, Contreras, Maldonado, Portocarrero, Salazar, Vellosillo, Villena y otros.
La Casa-Palacio de los Contreras seria una reforma de una casa antigua en la que habitó don Álvaro de Luna.
Juan de Contreras, cuyo nombre completo era Juan de Ayllón y Contreras Vázquez de Cepeda, marinero que en 1492 embarcó con Cristóbal Colón, en 1497 se encargó de reformar la antigua casa, conocida vulgarmente como Palacio de don Álvaro de Luna, y levantó su fachada principal de estilo plateresco.
La fachada principal fue reconstruida en 1622 por dos hermanos, Marcos y José Salamanca, ambos maestros canteros, uno vecino de Cuéllar y otro de Fuentidueña. En esta época la Casa-Palacio de los Contreras era ya propiedad de los Marqueses de Villena quienes sólo habitaban algunas temporadas de caza. Los Marqueses de Villena fueron dueños del Palacio hasta el siglo XVIII.