Główny budynek ekspozycyjny o zabytkowym charakterze jest przykładem typowej XIX wiecznej architektury fabrycznej. Powstał w II połowie XIX wieku jako Fabryka Wyrobów Metalowych Emila Kelcha. W okresie międzywojennym działała tu Wytwórnia Wyrobów Metalowych Towarzystwa Akcyjnego ''Arkona''. W czasie II wojny światowej w budynku mieścił się przejściowy obóz dla polskich wysiedleńców. W późniejszym okresie został on przekształcony w fabrykę sprzętu optycznego na potrzeby wojskowe. Po wojnie ulokowano tu fabrykę gazomierzy i sprzętu gospodarstwa domowego.
W 1980 roku miasto Tczew przekazało cały obiekt Centralnemu Muzeum Morskiemu w Gdańsku, które rozpoczęło jego adaptację na potrzeby nowopowstającego Muzeum Wisły. Do dnia dzisiejszego jest to największe muzeum rzeki w Polsce.
Oficjalne otwarcie placówki miało miejsce 13 kwietnia 1984 roku, kiedy to udostępniono zwiedzającym pierwszą stałą wystawę pt. ''Dzieje żeglugi wiślanej'', a 8 października 1984 roku otwarto drugą ekspozycję pt. ''Łodzie ludowe dorzecza Wisły''.

W latach 2004 - 2007 budynek przeszedł gruntowną modernizację sfinansowaną z funduszy unijnych, dotacji Ministerstwa Gospodarki oraz wkładu Gminy Tczew. Obecnie w obiekcie mieści się Muzeum Wisły i Centrum wystawienniczo-regionalne dolnej Wisły. Budynek został przystosowany do udostępnienia dla osób niepełnosprawnych.