El origen de la Casa de vacas hay que buscarlo en tiempos de Fernando VII cuando se decidió crear en esta propiedad real una explotación ganadera en una zona de pastos y aguas abundantes.
Aquí se llegó a experimentar con sistemas avanzados para la producción de quesos, mantequilla y otros productos relacionados con la leche, pero a la muerte del soberano la propiedad quedó abandonada y en peligro de ruina. Una vez llegado Alfonso XIII al trono, dedicó la casa al uso de pabellón de caza, ya que desde sus orígenes la Casa de Campo había sido uno de los sitios de caza favoritos de los monarcas españoles.
Finalmente, el de noviembre de 1936 la casa resultó destruida ya que su ubicación la transformaba en un lugar estratégico de importancia, ya que era la entrada al cerro de Garabitas desde donde la artillería podía bombardear la ciudad.