Aquí estuvo entre 1725 y 1835 el REAL SEMINARIO DE NOBLES, en el que estudiaron grandes figuras de ingenios españoles.
El rey Felipe V tuvo la iniciativa de crear una institución docente, al cargo de los jesuitas, destinada a los jóvenes aristócratas, con el fin de que tuvieran una amplia formación para los empleos públicos que iban a desempeñar. Se puso en marcha en 1725. Se inauguró el 18 de octubre de 1727 en el Colegio Imperial y en 1729 se estableció en este emplazamiento. A los pocos años se rebajó la exigencia nobiliaria y fue dando paso a hidalguías que incluso se podían alcanzar con lo compra de títulos, que tomó la burguesía, frecuentemente de provincias y de las colonias americanas, como un paso para su colocación en los estamentos cortesanos y militares.
Sus estudios eran muy completos en todos los campos de las ciencias y las letras. Con la expulsión de la Compañía de Jesús en España por el rey Carlos III, los profesores fueron los nombrados por el rey y se introdujeron algunas materias como la Arquitectura Militar, ya que era muy frecuente que sus alumnos proveyesen las plazas de los cuerpos de élite del ejército, como los Guardias de Infantería Española.
Asimismo estudiaron en el Seminario los que buscaban empleos en la administración o el poder central.
Fueron alumnos de este centro: el Marqués de Villafranca, el Duque de Medinaceli, el Marqués de Villarreal o el Conde de Fernán Núñez. Y también el escritor José Cadalso, que llegó a capitán del Regimiento de Caballería Borbón.
Fue utilizado como cuartel por José Bonaparte en 1826, luego volvió la regencia de los jesuitas en 1836, alojó aulas de la Universidad. En 1841 se convierte en Hospital Militar y pasa a pertenecer el edificio a la titularidad del Ejército. Se destruyó en el terrible incendio en 1889, esto dio lugar a que se levantaran otras instituciones de carácter castrense como el Servicio Histórico del Ejército y sus bibliotecas o el Laboratorio de Ingenieros.
