Don Ángel María Saavedra y Ramírez de Baquedano vivió y murió en este Palacio que forma parte de su acervo espiritual y vivencial tal como se muestra en su teatro y en su poesía. Fue la Casa Palacio de los Ramírez de Madrid, fundación de Beatriz Galindo, junto al convento que ella misma fundó y habitó de La Concepción Jerónima. En el tiempo sufrió multitud de reformas. En el siglo XVII ya perteneció a los Ramírez Saavedra, llegando a las manos del Duque de Rivas, que trabajó en una gran reforma en 1843 con el arquitecto Francisco Javier Mariategui levantando otra planta y añadiéndole un jardín romántico.
El Duque nació en Córdoba en 1791 y fue, ante todo, poeta, aunque tuvo una vida política muy compleja. Llegó a Madrid para estudiar en el Seminario de Nobles. Estuvo luego en la Guardia de Corps, participó en la Guerra de la Independencia y fue Diputado a Cortes bajo el Trienio Liberal. Fue condenado a muerte por Fernando VII. Con el regreso de los liberales formó parte del gobierno de Isturiz, fue senador por Cádiz, académico de la Lengua, embajador de Nápoles, miembro de la Academia de la Historia, embajador en Paris y presidente del Consejo de Estado. Murió en Madrid el 22 de junio de 1865.
Su obra más conocida es “Don Álvaro o la fuerza del sino” (1835), un drama apasionado donde su protagonista lucha en las redes de un amor imposible y fatal.
Su residencia se denomina hoy Palacio de Viana por el titulo que llevó un hijo del duque y es, actualmente, sede del Ministerio de Asuntos Exteriores.
