Es la edificación más característica que hoy subsiste del que fuera Real Sitio y Palacio del Buen Retiro, mandado construir para Felipe IV por su valido el Conde-Duque de Olivares a partir de 1630, tomando como base el que fuera cuarto de retiro de S.M. en el Monasterio de San Jerónimo, de cuyo primitivo uso tomó el nombre. Respetando las edificaciones existentes, que conservaron su función de habitaciones privadas del Rey, se inició la ampliación con la adición de un patio y varias dependencias, un jardín formal con estanque, germen del Parque del Retiro, y una jaula de fieras y pajarera, elemento éste que determinó entonces la denominación popular de gallinero para todo el conjunto.
Concebido como una villa suburbana a la española, o cortijo, no existió un plan previo de ordenación y así lo demuestra su falta de coherencia, unidad y jerarquía e, incluso, la carencia de una entrada solemne, que obligaba a los Monarcas a acceder por un lateral. Las edificaciones fueron, por tanto, resultado de la improvisación, la prisa y la necesidad, aunque la supervisión corriera a cargo del italiano Juan Bautista Crescenzi y las trazas del aparejador Alonso Carbonel, nombrado maestro mayor del Real Sitio y único responsable a la muerte de aquel en 1635. La rapidez de las obras, que causó admiración en las cortes europeas, explica que en agosto de 1633 ya se hubiera concluido el Patio de Oficios, al Norte del Cuarto Real, en realidad una gran plaza para fiestas y regocijos, rodeada por el Cuarto de la Reina al Sur y por las habitaciones para cortesanos y la servidumbre, así como salones públicos para Consejos, en el resto, ocupando este pabellón de Reinos el ala septentrional. Se trata de un volumen estructurado por una sola crujía y tres niveles, con torreones esquineros coronados por chapiteles flamencos, avanzados hacia el Norte, y con una balconada corrida hacia la Plaza o Sur, hoy desaparecida por hallarse embebida en una nueva crujía.
Su imagen exterior, postescurialense y característica de la época de los Austrias, refleja la pobreza de materiales y falta de magnificencia que dominó en todo el Palacio, no así al interior, verdaderamente suntuoso y del que fue ejemplar este Salón de Reinos, su espacio más significativo, decorado con doce lienzos de escenas bélicas de diversos artistas de la Corte, Carducho, Cajés, Castelo, Leonardo, Maino, Pereda, Velázquez y Zurbarán, cinco retratos reales ecuestres y los diez trabajos de Hércules, realizados respectivamente por los dos últimos. Además, la bóveda del techo, tal y como hoy se conserva, iba pintada al fresco con grutescos dorados y entre los lunetos los escudos de los veinticuatro reinos de la Monarquía, a los cuales debe su denominación el Salón. Se lograba así un singular espacio, expresión política del gobernante y sus predecesores, el cual enlazaba con la tradición italiana, como lugar de honor de la decoración palaciega. Es el equivalente del denominado Salón de la Virtud del Príncipe, resuelto aquí de modo narrativo, arcaizante, y no alegórico, tal y como entonces imperaba en las cortes europeas. La falta de capacidad del Patio de Oficios para determinados espectáculos provocó la creación de una nueva Plaza Grande en 1634, a la que tres años después se añadió un picadero. También en 1637 se creó el Casón y al siguiente el Coliseo o Teatro, ambos al Este del Salón de Reinos y según dos ejes paralelos a su dimensión mayor, dándose por finalizada la posesión palaciega hacia 1640, con una extensión aproximada a la mitad de la entonces villa de Madrid, que coincide en gran medida con el hoy Ensanche y Parque del Retiro.
Aunque el Palacio contrastaba con otros contemporáneos europeos, fue residencia favorita de los primeros Borbones y obligada a partir de 1734, tras el incendio del Real Alcázar, quienes, a pesar de que promovieron algunos proyectos para su ampliación y embellecimiento exterior, se limitaron a cambiar la decoración interior según la moda Rococó. A partir de la Invasión Francesa el Retiro fue fortificado y sus edificios sirvieron de cuartel, cuadras y establos, quedando a su marcha muy maltratados y la mayoría en ruina irreversible. Abandonado a su suerte, solamente se salvó el Salón de Reinos, que se recompuso con algunos añadidos como edificio exento, y el Casón, reduciéndose el resto a un montón de escombros, no así los jardines que fueron rehabilitados por Fernando VII. El resto del terreno fue urbanizado en 1877 y vendidos sus solares para la construcción de palacios y viviendas de alquiler de la alta aristocracia, origen del barrio conocido por los Jerónimos o del Buen Retiro. Las dependencias del Salón de Reinos albergaron desde 1884 hasta 2005 el Museo del Ejército.
