L’enseignement au Château-d’Olonne débute en 1833 avec la loi Guizot qui fait obligation à chaque commune de se pourvoir d’une école et de prendre en charge la scolarité de ceux qu’elle reconnaît comme indigents. À charge pour la Ville, parfois en s’associant avec une autre, de faire l’acquisition d’un local et de veiller au traitement de l’instituteur.

Au Château-d’Olonne, le Conseil municipal reconnaissant « la grande utilité d’une école dans la commune qui n’a jamais été régulièrement tenue » fait l’acquisition d’une maison dans le bourg appartenant à un certain Édouard Ocher pour la somme de 1 400 francs et décide de s’associer avec la commune de Sainte-Foy.
« Les ressources de la commune étant à peu près nulles et les habitants peu aisés », le Conseil municipal décide l’aliénation d’une lande communale pour une rente annuelle de 200 francs affectée au traitement de l’instituteur et sollicite une subvention départementale pour l’acquisition de la maison d’école. La ville est de plus chargée des réparations, de l’entretien de l’école et du traitement de l’instituteur. La commune de Sainte-Foy, ne participant pas dans le prix d’acquisition doit abandonner le produit de l’impôt de trois centimes fixé par ordonnance royale. Les enfants de Sainte-Foy, dont les parents sont réputés indigents, sont admis gratuitement dans l’ école.

Le 26 juillet 1834, M. Petit devient le premier instituteur public. Après des réparations nécessaires, l’école ouvre en décembre 1834 mais fonctionne difficilement tant l’effectif semble réduit. Il faut attendre quelques années avant que les Castelolonnais ne prennent l’habitude d’y envoyer leurs enfants

En 1838, le Conseil municipal n’a toujours pas pu fixer le montant de la rétribution scolaire pour les familles solvables, le maire estimant que l’école payante serait désertée et que tous les enfants préfèreraient aller chez les frères de la Doctrine Chrétienne aux Sables-d’Olonne dont l’instruction est gratuite. Cette même année, la commune de Sainte-Foy doit finalement s’associer avec Grosbreuil sur injonction du préfet pour se doter d’une école. Le maire du Château-d’Olonne déplore vivement cette décision et en fait état dans une délibération du 4 février 1838 « de tout temps, la commune de Sainte-Foy et celle du Château d’Olonne ont toujours été étroitement liés sur le plan spirituel » car depuis plus de 30 ans, les enfants de Sainte-Foy se rendent au Château-d’Olonne pour suivre les leçons de catéchisme. En s’associant avec Sainte-Foy, le Château-d’Olonne espérait ainsi augmenter la fréquentation de l’école et par la même les appointements de l’instituteur.

Malgré tout, l’école continue de fonctionner et l’instruction y est gratuite pour tous. Elle est ouverte dans un premier temps aux garçons, la loi Guizot ne faisant pas obligation d’instruire les jeunes filles, grandes oubliées de la loi. Le Conseil municipal ne débat de cette question qu’en août 1865 sur l’injonction de l’inspecteur de l’enseignement élémentaire qui manifeste son souhait de voir l’école du Château-d’Olonne ouverte « aux deux sexes » à partir d’octobre 1865. Dans une délibération du 11 août 1867, on apprend que plusieurs tentatives ont été menées pour la création d’une école de filles et qu’elle ne fut guère fréquentée par plus d’une dizaine d’élèves. Deux raisons expliquent cet état de fait : une population rurale composée, pour la grande majorité, de cultivateurs à droit de colonage, qui préfèrent garder les jeunes filles aux travaux des champs et surtout le sentiment que l’instruction est du « temps perdu » qui ne peut être que préjudiciable à leurs intérêts matériels.

En 1874, un plan du 30 avril conservé aux Archives départementales de la Vendée témoigne cependant de la construction d’une école des filles à proximité immédiate de celle des garçons. Un agrandissement de l’école des garçons a lieu en 1879 et puis de l’école des filles en 1883. En août 1886, l’école des garçons est séparée en deux par une cloison et agrandie.
Jusqu’au début du XX^e siècle, l’effectif de l’école des garçons augmente régulièrement et la création d’une troisième classe est nécessaire. Cependant ce dernier projet ne satisfait pas les Castelolonnais qui, dans une pétition adressée au sous-préfet des Sables d’Olonne, demandent que la troisième classe projetée à l’école des garçons soit remplacée par la création d’une école mixte au Puit Rochais. Ce projet restera finalement sans suite.

En 1926, une troisième classe est enfin ouverte mais le poste d’adjoint à l’école est supprimé en raison de la stagnation de l’effectif scolaire : moins de 80 élèves.

L’école est ouverte aux filles mais en 1955, on ne parle pas encore de mixité. En 1957, filles et garçons peuvent assister au cours dans la même classe.

Après la construction des nouvelles écoles maternelle et élémentaire René Millet dans le bourg, la première école du Château-d'Olonne est détruite en 1972.