El nombre de 'San Ildefonso' proviene de la granja que tenían los monjes Jerónimos del Monasterio de El Parral (Segovia).
Felipe V, primer rey Borbón de España, en 1721 inició las obras del Palacio.
Aunque la primera intención del monarca era construir una residencia sin lujos para descansar y cazar, posteriormente, tanto Felipe V como su esposa Isabel de Farnesio cambiaron de opinión, embelleciendo y ampliando el Palacio.
En la construcción intervinieron diversos arquitectos: Teodoro Ardemans, Juan Román (ayudante de Ardemans), Procaccini, Felipe Juvara y Sachetti.

El Palacio es un bonito ejemplar de arquitectura palatina europea, con influencia francesa, del barroco español, e italiana, se encuentra rodeado de jardines y fuentes de estilo Versalles.
Cuando Felipe V decidió abdicar, se reservo el Palacio para disfrute propio y de la reina Isabel de Farnesio.
Durante el reinado de Carlos III se fueron comprando montes aledaños, pertenecientes a Segovia, y fueron incorporándose al Palacio.

Con el transcurso del tiempo, el Palacio se fue relegando al olvido hasta el incendio de 1918.
Desde entonces, se han desarrollado diversas restauraciones, que finalizaron en el año 2000.

El Palacio de San Ildefonso ha sido el marco de varios acontecimientos en la historia de España, entre otros, los esponsales de Carlos IV con María Luisa de Parma, la firma de un Decreto de 1836 mediante el cual la reina Cristina restablecía la Constitución de 1812, o el nacimiento de Don Juan de Borbón (padre del rey don Juan Carlos I).