En la colina que hoy se conoce como montaña del Príncipe Pío estuvo la huerta de la Florida. En la primera mitad del siglo XVII la finca pasó por varios propietarios hasta que fue comprada a mediados del citado siglo por Francisco de Moura Corterreal, III Marqués de Castel-Rodrigo, quien compró las casas y huertas colindantes y las unió a la finca de la Florida. Además mandó construir un magnífico y suntuoso palacio de madera con jardines a la entrada situado en la parte baja de la Montaña, donde hoy se halla el Intercambiador de Transporte de Príncipe Pío.
En 1792, el rey Carlos IV adquirió por casi dos millones de reales de vellón los terrenos y el palacete a una de sus descendientes, Isabel María Pío de Saboya, VIII marquesa de Castel-Rodrigo. Además, compró a Manuel Godoy la llamada finca de La Moncloa, añadiéndola a la Florida y convirtiendo las dos posesiones en una finca de recreo denominada Real Sitio de la Florida. También mandó construir un nuevo palacio, obra del arquitecto italiano Felipe de Fontana, quien construyó en la parte más baja de los terrenos la ermita de San Antonio de la Florida, único resto arquitectónico de esta real posesión.
Con el tiempo, la montaña del Príncipe Pío se segregó de la Florida y en el año 1831, Fernando VII cedió la montaña del Príncipe Pío a su hermano, el infante Francisco de Paula, quien la convirtió en parque público con paseos y jardines. Más adelante, entre mediados y finales del siglo XIX se construyó sobre sus terrenos el barrio de Argüelles.
Tras el fallecimiento de Fernando VII, el Real Sitio de la Florida comenzó a disgregarse y parte de sus límites se abrieron al disfrute ciudadano, consolidándose como un concurrido paseo arbolado que unía el Puente de Segovia con la Puerta de San Vicente, donde el pueblo disfrutaba de verbenas populares.
El entorno cobró una dimensión cultural y pública definitiva cuando, en 1987, Patrimonio Nacional cedió la custodia de la Ermita de San Antonio de la Florida al Ayuntamiento de Madrid. Y en las últimas décadas, el área ha sido objeto de diversas intervenciones de rehabilitación paisajística y peatonal para integrarla plenamente en el entorno del río Manzanares y Madrid Río.