Met de herinrichting in 1980 van het gebied rond de Visschersstraat, waar in de jaren 1960 vrijwel alle panden gesloopt zijn, verdween het plein met de naam Vismarkt. Het plein lag aan het oostelijke einde van de Visserstraat, de Heilige Geeststeeg kwam er op uit. Bij de herinrichting werd de verbinding met Het Goor tot stand gebracht. Op de plaats van de vroegere vismarkt is in de bestrating een vis aangebracht. Het stukje straat richting Aan Zee draagt nu nog de naam Vismarkt.

Het was de verkoopplaats van vis vanaf het begin van de bloei van de visserij tot aan het begin van de 19e eeuw. Na de oprichting van een visafslag en de inrichting van een vissershaven aan de westkant van de stad verplaatste de vishandel zich daar naar toe.
Ten noordwesten van de vismarkt lag in zee de stadsbrug. Hier legden de veerschepen aan en zetten de reizigers van overzee voet aan wal.
Tot in de tweede helft van de zestiende eeuw werd het marktplein aan de oostkant begrensd door de Vis- of Voskenpoort.

Zie ook de beschrijving van de overige naar termen uit de bloeiende visserijperiode genoemde straten.