Die Schifferbörse erlitt bei den schweren Luftangriffen auf Duisburg im Oktober 1944 erhebliche Schäden. Anders als oft vermutet, bedeuteten die Bomben jedoch nicht das Ende des markanten Ruhrorter Wahrzeichens. Das als „Wikingerschloss“ bekannte Gebäude konnte zunächst instand gesetzt werden und blieb auch nach Kriegsende erhalten.

Erst im Februar 1946 wurde die Schifferbörse vollständig zerstört. Ein Brand vernichtete das Gebäude, als Ursache gelten vermutlich zündelnde Jugendliche. Mit dem Verlust des Hauses verschwand ein prägendes Wahrzeichen Ruhrorts und ein Symbol der Binnenschifffahrt.

Für die Schifferbörse selbst bedeutete dies jedoch nicht das Ende. Seit ihrer Gründung hatte sie weit mehr verkörpert als ihr Gebäude. Als Treffpunkt von Schiffern, Reedern, Verladern und Spediteuren sowie als Institution für Marktordnung und Rechtssicherheit prägte sie die Rheinschifffahrt über Jahrzehnte. Diese Funktion überdauerte den Verlust des „Wikingerschlosses“ und blieb auch nach dessen Zerstörung erhalten.