Das Gebäude stammt aus dem 16. Jahrhundert, laut Jahreszahl am Giebel 1553 erbaut. Es ist eines der ältesten und schönsten Fachwerkhäuser in der Buxtehuder Altstadt. Die Vorbesitzer waren überwiegend Fuhrleute. Durch die Initiative des Stadtdirektors Wilhelm Albrecht und die Gründung des Vereins „Haus Fischerstraße 3“ konnte das Bauwerk gründlich restaurativ saniert werden. Um die notwendige Infrastruktur für einen Restaurantbetrieb unterzubringen, musste eine Nach-Unterkellerung erfolgen. Hierfür musste das ganze Gebäude (Fachwerk) gesichert und mittels Hydraulik-Pressen angehoben werden. Für die Sanierung der Gebäudestruktur wurde das Architektenteam Frenzel&Frenzel, unterstützt von Prof. Dr. Heinz Meyer-Bruck, beauftragt. Das Eingangstor, die Fenster und Innentreppen sind Neukonstruktionen. Maße und Formsprache entsprechen historischen Anregungen. 1979 war das Gebäude wieder erstellt und als Restaurant „Altstadtstuben“ eingeweiht. Durch die Verschmelzung des Vereins Haus Fischerstraße 3 mit dem Heimatverein im Jahr 2002 ist das Haus in dessen Eigentum übergegangen, und wird daher heute denkmalpflegerisch vom Heimat- und Geschichtsverein Buxtehude e. V. betreut.