Et af Assens ældste byhuse. Omkring år 1600 var bygningen et otte fag dybt gavlhus forsynet med en 5-fags knægtbygget gavl ud mod Østergade samt et syv fags langhus i tilslutning hertil. Det to stokværk høje langhus fungerede som magasinbygning.
I 1675 overtog storkøbmand Erik Nielsen ejendommen og tilføjede bygningen endnu tre østlige fag, så bygningen herefter havde den nuværende længde på 15 fag.
Bygningen er blandt andet fødehjem for den danske søhelt Peter Willemoes (1783-1808). En statue af Peter Willemoes står nede ved kajen ved Kulturhuset.
Peter Willemoes deltog i Slaget på Reden den 2. april 1801, og her fik Willemoes stor berømmelse. Han fik kommandoen over et flådebatteri, en synkefri flåde med 24 kanoner.
De kom til at ligge over for de to store engelske linjeskibe »Ganges« og »Elephant«, med den navnkundige engelske admiral »Horatio Nelson« om bord. Efter godt 1½ times kamp måtte Willemoes give op og lade batteriet drive ud af kampzonen.
22. marts 1808 var Peter Willemoes om bord på linjeskibet Prinds Christian Frederik med 68 kanoner og en besøtning på 576 mand på vej til Storebælt fra Norge. I Kattegat ud for Sjællands Odde mødte de en engelsk flådeenhed bestående af to linjeskibe, en fregat og to mindre skibe.
Efter nogle timers kamp måtte de give op, da skibet gik på grund. Om bord var der 132 sårede og 69 drøbte, og blandt de dræbte var den 24-årige Peter Willemoes. Peter Willemoes ligger begravet ved Odden Kirke.