In deze periode groeide het aantal inwoners van Vollenhove tot 1246 in 1830. De groei was in Vollenhove echter minder groot dan in de rest van de provincie. In Vollenhove stond tegenover de bevolkingstoename nauwelijks uitbreiding van de werkgelegenheid. Er ontstond een overschot aan arbeidskrachten en van deze situatie profiteerden calicotfabrikanten uit Twente. Als gevolg van de onderlinge concurrentie waren de lonen daar zo hoog geworden dat sommigen uitweken naar goedkope loongebieden, zoals West-Overijssel. Deze vorm van werkgelegenheid, de zogeheten armenfabriek, deed in verschillende plaatsen haar intrede, en wel in Vollenhove (1834-1853) (1835), Hasselt (1837), Kuinre (1839) en op Schokland (1842). Ook in Sint Jansklooster werd een fabriek opgericht en daar vond een deel van de armlastige bevolking uit Vollenhove werk.

In het Oldehuis, dat vroeger tot gevangenis diende, was in 1841 zo'n katoenweverij en spinnerij gevestigd. In het gemeentearchief bevinden zich diverse stukken betreffende het gebruik van het Oldehuis als weverij door ondernemer E. Ekker c.s., het onderhoud en de veiling van het gebouw uit de periode 1834-1855, met hiaten. Het gebouw was toen eigendom van het Ministerie van Justitie. Blijkbaar exporteerde men ook naar Nederlands Indië. In 1841 waren er 100 weefgetouwen in bedrijf!

In de jaren veertig werden de levensomstandigheden voor veel inwoners van de stad steeds slechter. Het aantal arbeidsplaatsen in de katoenweverij liep terug van 70 in 1842 tot 40 in 1848. De situatie van de gemeentekas liet tevens te wensen over onder andere als gevolg van het vertrek van verschillende financieel draagkrachtige inwoners. Hierdoor werd onvoldoende aandacht besteed aan het onderhoud van de haven, zodat deze in verval raakte en slecht bereikbaar werd voor grote schepen.

Het adres Oldehuysplein 130 was van de scheepswerf J. Kroeze, met een helling die van het oorspronkelijke eiland een schiereiland maakte.

In 1914 kreeg J. van Smirren vergunning van de Gemeente voor het oprichten van een fabriek voor vis- en groentenconserven aan het Oldehuisplein nr. 9, kadastrale sectie A nr. 699. Vervolgens kreeg in 1915 de weduwe O. van Gulik vergunning voor het oprichten van een visrokerij aan het Oldehuysplein nr. 10a, kadastrale sectie A nr. 774. Het Oldehuisplein was een (schier)eiland in de Binnenhaven, in de volksmond 'het Fort' genoemd, de plek waar tot 1854 het Oldehuis stond. Al bij de afbraak van de laatste restanten van dit voormalige kasteel van de bisschoppen van Utrecht werd het terrein genoemd als vestiging voor industrie: Oldehuis: van fort naar fabriek? (1854).

Eind 1920 kocht de gemeente van de firma Gombrun, een voormalig visconservenbedrijf - opvolger van Van Smirren die hier in 1914 begon, hun gebouw op het Oldehuysplein. Het werd verbouwd tot een aantal sociale huurwoningen. Maar eerst moest er nog een lading zout weggehaald worden. Het moest opgeslagen worden in de kelders, maar dat had veel voeten in de aarde. Uiteindelijk bleek J. Van Gulik, reder en visverwerker, geïnteresseerd in het zout. Van Gulik, op het terrein naast het bruggetje over de havenmond, stopte een aantal jaren later en deed zijn bezit over aan de vissersvereniging St. Petrus. Daar ging Willem 'troet' Konter aan het roken, hij had één oog verloren bij het vissen. Deze rokerij, na korte tijd overgenomen en nog steeds in handen van de familie Konter, draait nog volop. De oude vispakkerij werd verbouwd tot woningcomplex Ruimzeezicht.

De Visrokerij Tukker in de Visschersstraat draaide tot het overlijden van Tukker in 1929, mogelijk nog enkele jaren doorgezet door zijn compagnon. In 1949 werd het complex, dat doorliep tot Aan Zee, gekocht door drie zoons van roker Willem Konter. Er was een opleving in de vis, men kon prima haring aankopen in Zeeland en ging die roken in de Visschersstraat. Maar het bleek van korte duur en rond 1955 kozen twee van de drie broers voor werk in de bouw. Oudste zoon Ab verhuisde naar Ruimzeezicht en zette daar de rokerij van zijn vader voort.

Met het afnemen van de visserij verdween al snel de nijverheid. Van Smirren vertrok rond 1920 naar Engeland en zette daar zijn bedrijf voort. De visrokerij van Van Smirren werd overgenomen door Jongman. In de jaren 1970 stopte dit bedrijf en bleven de gebouwen leegstaan. Het verval trad in totdat de familie Kwakman het geheel enkele jaren huurde voor rokerij en vishandel. Op basis van huur bleek dit niet rendabel en stopten ook zij. De verpauperde gebouwen hebben pas midden jaren 2010 plaats gemaakt gemaakt voor koopwoningen. 

Andere, kleinere bedrijven waren de smederij en winkel van Jan Baver van Heerde aan de Haven, tegenover de rokerij van Van Smirren. Deze stopte al in 1919, werd overgenomen door smidsknecht Evert Spit die een nieuw bedrijf starte aan de Buitenhaven. Met de grote afbraak van de vissersbuurt, begin jaren 1970, verdween ook dit bedrijf definitief en werd het complex afgebroken in 1992. Zie verder Nijverheid rond de binnenhaven o.a. voor zeilmakers, taanders en beurtschippers. Zeilmaker 'de grote buter' Schuurman sneed zijn zeilen in de Grote of St. Nicolaaskerk. En over de winkel in scheepsbenodigdheden van Jongman aan het begin van de Kerkstraat.