Das Zollhaus hat seinen Namen von den Zollgebühren, die von den einreisenden Kaufleuten am nahen Weiltor erhoben wurden. In dem Haus selber wurde nie Zoll erhoben, denn es wurde erst erbaut, nachdem die Stadtbefestigung des 16. Jahrhunderts um 1820 abgebrochen wurde.

Das Zollhaus ist das kleinste Hattinger Fachwerkhaus. Der Grund für diese geringe Größe wird sichtbar, wenn man hinter das Haus sieht. Es steht nämlich auf den Resten eines Wehrturms. Der Durchmesser des ehemaligen Wehrturms hat die Größe des Hauses bestimmt. Es wurde nach 1820 als Werkstatt eines Schmiedes errichtet.

In der Pflasterung des Grabenweges vor dem Zollhaus fällt ein kleinteiliger Bereich auf. Unter dieser Pflasterung befindet sich ein Gewölbekeller, der von der gegenüberliegenden Hoffläche aus zugänglich war. Er diente als Aufenthaltsraum für die dienstfreie Wachmannschaft des Wehrturmes und als Zugang zu dem Turm.