Divers travaux de réparations et d'agrandissements de la première poissonnerie sont entrepris sous le Second Empire. Une tente destinée à couvrir la partie centrale de la poissonnerie pendant l'été est même installée en 1870 par l'architecte Alphonse Guérit, mais celle-ci sera sérieusement endommagée par la tempête du 2 septembre 1883.

La reconstruction de la grande poissonnerie, à l'emplacement de la précédente, a lieu dans les années 1884-1885 sous la direction d'Émile Bellanger, architecte de la ville. Cette grande halle de forme trapézoïdale de 2 241 m² disposait d'une charpente métallique portée par 42 colonnes de 8,20 m de hauteur réalisées par l'entreprise parisienne Moreau Frères. Ce bâtiment disposait de 34 cases, d'une gare maritime, de bureaux et d'un réservoir d'eau salée de 30 m².
La nouvelle poissonnerie est ouverte au public le 1^er juin 1885.

C'est là que génération après génération, sitôt la pêche débarquée et étalée sur les tables, les « petites marchandes » et les « crieurs » ont rythmé la vente quotidienne de poissons à l'encan.

En 1920, l'architecte Charles Smolski fait installer l'électricité à la poissonnerie. Dans la période de l'Entre-Deux-Guerres, d'importants travaux sont entrepris pour rénover les couvertures et les structures métalliques fortement endommagées par l'air salin.
En 1951, une petite poissonnerie de détail est installée à l'angle du quai et de la rue Bisson. La décoration intérieure est réalisée par le peintre tchèque José Ocadlik. Dans les années 1950-1960, les Tigres Vendéens organisent de nombreux galas de catch dans l'enceinte de la poissonnerie, avec des champions comme Gilbert Leduc ou le Bourreau de Béthune.

Une voie ferrée, installée vers 1888-1889, reliait la poissonnerie à la gare de Chemin de fer. Ce « train de marée » a été définitivement abandonné à la fin des années 1950. En 1953, le quai de la poissonnerie est élargi et devient le quai "Ernest de Franqueville" à la demande de l'amiral de Maupéou.

Le 1^er décembre 1956, la municipalité de Charles Rousseau vote la construction du Centre de marée à l'emplacement du perré est du bassin de marée, entre la cale des Sardiniers et les chantiers de construction. Il est également prévu de combler l'arrière-port qui se trouve à l'emplacement de l'actuel parking du Centre de marée. Les plans de cet imposant édifice sont dûs à l'architecte nantais Marcel Manceau et c'est l'ingénieur des Ponts-et-Chaussées, René Renollaud, qui est chargé de la direction des travaux. Par la suite, la Chambre de Commerce de la Vendée donne son accord, le 24 avril 1961, pour se substituer à la ville dans la gestion du nouveau Centre de marée. Ce bâtiment de 5 355 m² est inauguré le 10 septembre 1961 par le ministre des Travaux publics, Robert Buron, mais n'est entré en fonction que le 2 janvier 1962.

En 1966, l'ancienne poissonnerie est vendue par le maire Pierre Mauger à la société Compagnie Immobilière de Construction et d'Administration (CICA), dont l'architecte, René Georges Goujon, est chargé de réaliser un vaste projet immobilier. Celui-ci comprenait l'édification de la tour Franqueville de 13 étages, d'un supermarché Coop et d'une station service qui sont inaugurés le 28 juin 1968. Afin de permettre la vente de poissons et de coquillages au détail, une « poissonnerie pilote » comprenant 5 stands est ouverte le 1^er août 1967. Oeuvre de l'architecte Michel François, elle a été démolie le 25 juin 2007 pour céder la place au pavillon de type Baltard conçu par l'architecte Charles Goujon.