Havnen opstod sidst i 1600-tallet som en 80 fods træbro til post og passagerfart. I 1720 blev den udbygget, og Frederik IV påbød, at der skulle opkræves havne og bropenge. I 1792 blev ansat en havnefoged.
Midt i 1800-tallet var der anlagt to broer og et ekstra havnebassin. Samtidig
opstod et par bådebyggerier og cirka 1850 blev skibsværftet, der stadig er i drift, etableret.
Havnen har haft stor betydning for byens industri, handel og landbrug. Ikke mindst på grund af sukkerfabrikken. Byens store tømmerhandel, etableret af Frederik og Niels Plum i 1860, afspejler også havnens betydning.
Færgeforbindelsen mellem Assens og Årøsund i Sønderjylland opstod som følge af Kong Valdemars jordebog i 1231, hvor der blev bestemt, at der skulle være færgefart mellem de to byer.
Postvæsenet besluttede i 1640, at Assens-Årøsundfærgen skulle være postruten mellem København og Hamburg. Færgeruten blev indstillet i 1972.
Den lange periode med færgen mellem Sønderjylland og Fyn fortæller om Assens havns strategiske beliggenhed. I dag er der kun en færgerute mellem Assens og Bågø, som ligger i Lillebælt ud for Assens.
Der ligger en kopi af den lille bygning til venstre. Vejerboden er genopført i skoven ved Skovpavillonen, Skovvej 5. Den blev bygget som indgang til Assens Miniby, der dengang lå der.