Le Château d'Olonne doit son nom à un ancien château, aujourd'hui détruit, qui fut la résidence des seigneurs d'Olonne.

La première mention du Château d'Olonne en tant que siège politique de la seigneurie d'Olonne apparait dans le cartulaire de l'abbaye Sainte-Croix de Talmont en 1092 (castrum Olonne, castellum Olonne). Une résidence seigneuriale est érigée sur le site actuel de l'égise Saint-Hilaire, véritable relais du pouvoir du seigneur de Talmont dans la seigneurie d'Olonne. Construite sur une motte féodale ou motte castrale, cette résidence était composée à l'origine d'un donjon ou d'une tour entourée de fortification et fut probablement construite au début du XIe siècle lors de la mise en place de la seigneurie de Talmont.

Au XII^e siècle, le Château d'Olonne prend le nom de De-Castro-Olone et Chastel d'Aulone, possession des familles de Mauléon au XIII^e siècle. Le castrum d'Olonne sert de résidence à Guillaume de Mauléon, seigneur de Talmont. A partir du XIV^e siècle, la baronnie d'Olonne passe sous l'autorité de la famille de Thouars juqu'à ce que Louis XI se saissise des biens pour les transmettre à Philippe de Commines au détriment de Louis de la Trémoille, gendre de Louis, sire d'Amboise et vicomte Thouars qui en revandiquait la succession pour ses enfants. A la mort de Louis XI, Philippe de Commines est disgracié. Louis II de la Trémoille entre dans ses possessions héréditaires à la fin du XV^e sièle.

Durant les Guerres de religion, la famille de la Trémoille reste fidèle au roi et à la foi catholique. Cette fidelité sera récompensée : en 1600, la baronnie d'Olonne est érigée en Comté mais de la résidence seigneuriale, ancien siège politique du Comté, il ne reste que quelques vestiges. C'est sans doute en raison de son état de ruine que François de la Trémoille décide d'acheter la demeure du Fenestreau construite au XVe siècle par Robert Bouhier. François de la Trémoille s'y installe en 1683. Sa fille Marie-Anne de la Trémoille, transmet le comté d'Olonne à Paul-Sigismond de Montmorency-Luxembourg, duc de Châtillon, et Comte de Lusse, qu'elle épouse en 1696.

Jusqu'à la Révolution, le Château d'Olonne est un fief du duc de Luxembourg, Comte d'Olonne, dont le représentant Bouhier de Gaudinière administre la paroisse avec le curé, Oché de Beaupré et le syndic Cheusseau. La population n'atteint pas les 850 habitants et le bourg est difficilement accessible en raison du mauvais état des chemins impraticables une bonne partie de l'année. L'hiver, pendant les crues, certains gués ne peuvent être franchis, faute de pont. En 1788, la récolte de blé est détruite par la grêle tandis que le rude hiver 1788-1789 arrête fabrications et moulins.

Le 3 mars 1789 est rédigé le cahier de doléance de la paroisse destiné à la sénéchaussée de Fontenay-Le-Comte où seront désignés les députés qui iront à Versailles. En 1790, la commune du Château d'Olonne a pour premier maire Calixte-Aimé Plissonneau. Élu le 31 janvier 1790, il s'agit d'un homme issu de la bourgeoisie rurale et cultivée.  L'application de la constitution civile du clergé divise la population.

En décembre 1792, Le curé jureur Étienne Biret succède à Calixte-Aimé Plissonneau. Quelques semaines plus tard, la Vendée se soulève en réaction à l'exécution du roi Louis XVI et à la levée en masse des hommes pour défendre la République contre la coalition européenne. Républicaine, la ville voisine des Sables-d'Olonne est attaquée mais elle repousse les insurgés. Dans les campagnes du Château d'Olonne l'insécurité règne. L'église Saint-Hilaire est pillée. Après la défaite des Vendéens et l'arrivée de Bonaparte, l'ancien curé réfractaire Lebédesque qui avait refusé de prêter serment à la constitution civile du clergé peut revenir dans sa paroisse après des années d'exil.

Au  XIX^e siècle, le travail de la terre constitue l'essentiel de l'économie castelolonnaise. L'augmentation de la population rurale entraîne le morcellement des parcelles. Les landes et jachères sont peu à peu conquises par les cultures maraîchères et le blé. Le vignoble - très bien implanté depuis le Moyen-Âge avec les moines de Saint-Jean-d'Orbestier - progresse encore jusqu'à la crise du phylloxera. Les pêcheries, de type écluses à poissons, produisent un complément alimentaire et d'échange économique appréciable, sinon nécessaire. L'augmentation de la population, de 800 à 1150 habitants dans la première moitié du siècle, peut paraître modeste. Elle entraîne cependant l'ouverture de nouvelles boutiques dans le bourg et l'installation d'artisans, maçons et menuisiers. La première école communale voit le jour en 1833 grace à la loi Guizot puis en 1877 celle des soeurs de Mormaison.

Le tourisme fait son apparition à la charnière des XIX^e et XX^e siècles.  Un hippodrome est créé devant les vestiges de l'ancienne abbaye Saint-Jean d'Orbestier.  L'actrice italienne Nina d'Asty édifie une villa à La Pironnière.  Le Casino des Pins ouvre à La Rudelière. Les colonies de vacances se développent avec la création en 1909 de la Cité des pins maritimes.

L'essor du Château d'Olonne est brisé net par la saignée de la Première Guerre mondiale. La population castelolonnaise chute de 2033 habitants en 1911 à 1804 en 1921. Comme la plupart de leurs compagnons d'infortune, les Castelolonnais mobilisés sont d'humbles jeunes gens de la campagne agricole. La France est rurale. Ils sont donc cultivateurs, domestiques, journaliers agricoles... La guerre leur tombe dessus. Elle tranche à vif. Pour le Château d'Olonne, commune de près de 2 000 habitants à l'époque, le tribut s'élève à presque 6 % de la population. Rapporté à la population d'aujourd'hui, ce serait l'équivalent d'une saignée de 800 hommes !

L'épilogue de la "der des ders" portant le germe du cataclysme suivant, la débâcle de 1940 amène 400 réfugiés sur la commune. L'armée d'Occupation s'installe aussi avec un millier d'hommes et hisse le drapeau à croix gammée sur l'abbaye Saint-Jean d'Orbestier. À la Libération, l'armée allemande quitte les Sables d'Olonne sans vraiment combattre. Mais quelques jours plus tard, les 30 et 31 août 1944, des convois ennemis reviennent. Les affrontements de La Bataille des Portes tournent à l'avantage des Forces Françaises de l'Intérieur.
La guerre est finie, mais elle tue encore : deux mois après l'armistice cinq enfants meurent dans l'explosion d'un obus abandonné. 

L'électrification démarre au milieu des années 1920, puis deux bureaux de téléphone sont installés. Pendant l'entre deux guerres, la commune rurale s'ouvrait lentement aux progrès techniques. Mais ce n'est qu'à la fin des années 1940 que la population découvre « le service d'eau ». L'eau courante entraîne la fin des lavoirs publics.

Dans les campagnes, les progrès techniques comme l'arrivée du tracteur au milieu des années 1950 et la politique agricole de l'État augmentent la productivité. En revanche, ils réduisent le nombre d'exploitations.

Simultanément, le tourisme prend ses marques avec un développement par étapes. Devenant progressivement une activité majeure, son essor s'appuie en cette période sur des structures telles les colonies de vacances et les terrains de camping. Puis l'attractivité du Château d'Olonne se confirme très vite par le formidable boom du phénomène des résidences secondaires qui fixent une partie des estivants. Au fil du temps, les résidences secondaires des vacanciers deviennent, à l'âge de la retraite de ceux-ci, les résidences principales d'une population de nouveaux arrivants.

Rurale, la commune se métamorphose de façon aussi radicale que rapide. De nouveaux quartiers d'habitat apparaissent le long des principales voies de circulation, en particulier en direction des Sables d'Olonne et à proximité du littoral.
Parallèlement des zones d'activités commerciales et industrielles sortent de terre aux Plesses, au Pas du Bois, aux Bourrelières.

Avec une population passée de 4 000 habitants au début des années 1960 à 11 000 en 1990, et 13 500 aujourd'hui, Le Château d'Olonne est devenu une ville.