Los duques del Infantado se establecieron en Madrid en el primer tercio del siglo XVII, después de haber seguido al Rey y a la Corte a Valladolid, ocupando una residencia en la zona del Alcázar junto a San Andrés. Esta primitiva residencia, que abarcaba toda la manzana número 130, sufrió numerosas modificaciones y renovaciones a lo largo de los siglos. Lo que hoy se conoce como Palacio del duque del Infantado, debió ser una de las casas accesorias destinadas al aposento de los criados. El edificio tiene planta trapezoidal, con un patio interior cuadrado situado en un lateral. Presenta gran desnivel entre la fachada principal y la posterior, que se resuelve con un zócalo de granito que engloba los sótanos. En las fachadas utiliza cantería en la planta baja y recercado con orejeras en la principal, diferenciando cada piso por la decoración de los huecos. La portada principal, desplazada del eje central, tiene el escudo de la Casa del Infantado sobre el dintel del balcón y da paso a un zaguán en que se encuentra una portada renacentista que procede del castillo de la Calahorra de Granada.
