Installée dans la première moitié du XIX^e siècle rue René Cassin, la mairie d'Olonne est transférée en 1853, pour des raisons de commodités, dans le presbytère rue Eugène Naulleau (autrefois la rue principale de la commune avant le percement de la rue des Sables sous le Second Empire).

Mais au fil des années, l'état du bâtiment se dégrade et nécessite d'importantes réparations fort coûteuses pour le budget communal. En effet, le maire Valère Mathé (1912-1945) indique lors du Conseil municipal du 16 juin 1912 « que l'escalier de pierre vieux de plus d'un siècle qui donne accès au premier étage menace ruine [...] et qu'il y a un véritable danger de mort pour toutes personnes qui ont l'occasion de se rendre aux Archives ». Finalement, des travaux de rénovation sont engagés et terminés en novembre 1912. Le fronton de la mairie est désormais placé du côté de la rue des Sables. L'année suivante, dans le but d'animer le bourg, la municipalité olonnaise décide de transformer le jardin de la mairie en place publique afin d'y recevoir les marchands forains les jours de fête et de préveil.

L'ancienne mairie va rester, pour sa part, dans ses murs jusqu'à la fin des années 1960, avant d'être rasée et remplacée par un hôtel de ville moderne dont l'inauguration a lieu le 16 janvier 1971.

Cependant, à partir des années 1980, le développement démographique et urbanistique de la commune est tel que l'édifice communal se révèle à nouveau trop exigu et inadapté face à l'augmentation constante des compétences de la collectivité.

C'est finalement en 2018 que d'importants travaux vont être entrepris sur le site du manoir de la Jarrie pour y installer le nouvel hôtel de ville d'Olonne, à proximité immédiate de la médiathèque.

Aimé François Dupleix (1713-1781), le premier maire des Sables-d'Olonne, est élu en décembre 1749. Mais faute d'hôtel de ville, les réunions du corps municipal vont avoir lieu au domicile du maire ou des échevins. Il en sera de même pour leurs successeurs jusqu'à la Révolution Française.

En 1790, les édiles sablais décidèrent de louer une maison commune pour y tenir les séances du Conseil municipal. D'abord installée dans l'ancien couvent des Capucins (collège Notre Dame de Bourgenay), elle est ensuite transférée dans la maison Tortereau (place du Palais de justice), puis sur le quai dans la maison Vaugiraud, de 1793 à 1803. Finalement, par décret du 13 Floréal An XI (3 mai 1803), le Premier Consul Bonaparte autorise le maire Simon François Xavier Ferry à acquérir de Marie Anne Gaudin, veuve Simon Galisson, une maison avec ses dépendances pour servir de maison commune (aile de la salle des mariages actuelle). L'acte d'achat est signé le 1er Brumaire An XII (24 octobre 1803), moyennant la somme de 6 600 francs. Cette propriété aux origines incertaines faisait vraisemblablement partie du patrimoine de la famille Gaudin depuis le début XVIII^e siècle. L'année 1715 inscrite au dessus de l'ancienne porte de la Justice de paix, laisse toutefois supposer une date de construction antérieure.

En 1831, l'acquisition de la maison Viaud (aile de l'état civil actuel) permet l'agrandissement de la mairie. La grille d'entrée est ajoutée en 1863 par l'architecte de la ville Gustave Loizeau. Parmi les nombreux projets concernant l'hôtel de ville, on peut noter celui de l'architecte Charles Smolski, au début du XX^e siècle, qui envisageait le transfert de la mairie sur la place de la Liberté.

C'est en 1950 que les travaux d'agrandissement et de surélévation de l'hôtel de ville, dans un style méditerranéen, sont réalisés d'après les plans des architectes sablais Maurice Durand et Henri Bertrand. Les armes de la ville et celles de la Vendée ont été gravées de chaque côté de l'horloge par le statuaire angevin René Gourdon. L'inauguration de la mairie a lieu le 6 août 1950, en présence de M. Ingrand, Haut-commissaire au Tourisme. En 1964, la salle du Conseil municipal est entièrement rénovée par l'architecte Michel François. En 1975, l'aménagement de baies vitrées dans les arcades de l'aile ouest de la mairie permet d'agrandir le service de l'état civil. Dans le même temps, les services techniques déménagent aux Ombrées, au 36 rue de l'Hôtel de ville.

Au début des années 1990, la construction d'un nouveau bâtiment administratif de 2 500 m², en lieu et place de l'ancien garage Carnoy, est confiée aux architectes Jolly, Barré et Lambot. Parallèlement, la rénovation de l'ancienne mairie est accompagnée de la création d'une passerelle pour relier les deux pôles administratifs. Le nouvel hôtel de ville est entré en service le 9 janvier 1995, tandis que les travaux de restructuration de l'ancienne mairie, engagés au mois de septembre suivant, sont terminés en juin 1996. La girouette surplombant l'hôtel de ville a été offerte en 1975 par la cité bavaroise de Schwabach dans le cadre du jumelage entre les deux communes. Elle est la réplique dorée à la feuille d'or de celle de « l'église des Français » de Schwabach. Elle a été restaurée en 1996. Les deux canons de bronze exposés sous les arcades depuis avril 2002 ont été repêchés au large des Sables. Leur restauration a été rendue possible grâce au partenariat entre la Ville, l'AVVAS et EDF.

Après la rue des Halles en 1979, c'est au tour des rues de l'Hôtel de ville et Jean Moulin de devenir piétonnières, formant ainsi le 1^er plateau piétonnier de Vendée. Elles ont été inaugurées, avec la petite fontaine du carrefour du Centre, le 11 avril 1981. L'actuel pavage et dallage en granit des rues piétonnes et du parvis de la mairie a été réalisé par les "Compagnons Paveurs" en 1996. Une grande fête populaire a marqué l'inauguration de l'ancienne mairie rénovée et de son esplanade le 14 septembre 1996.

Le 31 janvier 1790 est élu le premier maire de la commune du Château-d’Olonne, Calixte Aimé Plissonneau. Mais ce n’est qu’en 1792 qu’apparaît pour la première fois dans les registres des délibérations le terme de maison commune comme lieu ordinaire des séances du Conseil municipal. On peut supposer que c’est le curé maire Étienne Biret, élu le 9 décembre 1792, qui décide de placer la maison commune à proximité du presbytère et de l’église paroissiale.

Une description assez précise de la maison commune nous est donnée lors de la séance du conseil municipal du 13 novembre 1830 : « Elle se compose de deux chambres d’égale grandeur, séparées par un mur, ayant chacune 5 mètres de longueur et deux de hauteur. Ce local est si étroit que toutes les fois qu’il doit s’y réunir plusieurs personnes, pour peu que le nombre en soit considérable, une partie est obligée de se tenir dans la rue ».

En 1875, selon un plan d’alignement du bourg, la mairie est encore située près du presbytère. Mais à partir de 1879, elle est désormais implantée près de l’école publique de garçons, à l’angle de la rue Séraphin Buton et de la rue de l’Église. Pendant toute la première moitié du XX^e siècle, l’histoire des locaux de la mairie se confond avec ceux de l’école publique créant ainsi une véritable mairie-école.

Le 2 juin 1957, la mairie constituée d’une seule pièce arrivant à saturation, le conseil municipal décide l’acquisition d’une maison avec jardin dans le bourg appartenant à la famille Bourget pour servir également de mairie : « Monsieur le Président expose que le local dont jouit actuellement la commune pour usage de mairie ne répond plus aux besoins de sa destination, il appelle l’attention de l’assemblée sur l’opportunité d’acquérir l’immeuble appartenant à la succession Bourget. Cet immeuble est situé au centre bourg et comprend une grande maison avec jardin… ».

Cependant l’acquisition de la maison Bourget ne suffit pas aux besoins de la municipalité qui évoque dès 1961 la construction d’un nouvel Hôtel de Ville. Le 17 mars 1961, le conseil municipal décide la construction d’une nouvelle mairie composée d’une salle des fêtes à l’étage. Le projet reste cependant sans suite et la municipalité opte pour un nouvel emplacement le 2 mai 1963 le long de la route départementale n° 36 sur un terrain appartenant à Madame Alida Deau. L’inauguration de cet hôtel de ville conçu par les architectes sablais Maurice et Jean-Baptiste Durand est réalisée par le maire Séraphin Buton le 14 juillet 1964, en présence de nombreuses personnalités locales ou vendéennes.

La mairie est agrandie par la suite à plusieurs reprises afin de répondre à la croissance de la population castelolonnaise, avant d’être définitivement remplacée par un nouvel hôtel de ville puis d’être démolie. Ce nouveau bâtiment est inauguré par la secrétaire d’État aux collectivités locales, Mme Estelle Grelier, le 30 septembre 2016.