El palacio fue construido en la década de 1870 por el Marqués de Bedmar para sustituir su antigua residencia en la calle del Pez, donde había nacido. El 30 de noviembre de 1874 fue pasto de las llamas cuando todavía no se había finalizado su construcción, aunque los marqueses ya habitaban en él. A pesar de los desperfectos ocasionados por el fuego fueron reparados y el edificio volvió a ser ocupado por sus propietarios.
Tal y como amablemente nos comenta Pablo Montejo, el edificio subsistió hasta principios del siglo XX, cuando fue definitivamente derribado. En 1910 se construyeron en su solar dos edificios de Marichalar, uno de los cuales sigue existiendo en la calle Génova. El otro ya no existe y el lugar lo ocupa el edificio sede del Partido Popular (PP).