Este bar situado en la esquina de la Ronda de Toledo con la glorieta de la Puerta de Toledo se ha ido reformando periódicamente, la fachada que podemos ver hoy es el resultado de la quinta reforma desde que en 1947 lo comprara la familia Benito. Desde su posición también ha sido testigo de todos los cambios que ha experimentado esta zona. Cuando abrió en 1892 tenía enfrente el antiguo Matadero de ganado, tras su derribo y hasta 1982 durante casi 50 años convivió con el Mercado Central de Pescados y Mariscos, que abandonó estas instalaciones para trasladarse a Mercamadrid. A finales de los 80 fue el Centro Comercial Puerta de Toledo quién ocupo este espacio y hoy la Universidad Carlos III tiene ubicado su Campus Madrid – Puerta de Toledo.
Otro grupo de clientes que durante muchos años frecuentaron el Bar El pescador fueron los hinchas del Atlético de Madrid de camino hacía el estadio Vicente Calderón, que está a punto de ser derribado. Los que se han mantenido inalterables son los madrileños que los domingos por las mañanas acuden al Rastro y hacen una parada en este bar.