Il y a déjà bien longtemps que Tain compte une école de filles et qu'elle est prospère ; en effet, le Comte de Larnage, maire de Tain de 1849 à 1863, fait appel à la compétence des Religieuses de Ste Marthe de la Maison Mère de Romans pour éduquer les filles du canton de Tain.

En 1892 les soeurs de Ste Marthe sont remplacées par des enseignants nommés par l'Etat. En juillet 1903 elles regagnent leur couvent de Romans. Mais en octobre 1903, ces mêmes religieuses, en costume civil, reprennent possession de l'école libre. Cette école compte 4 classes primaires plus 1 classe maternelle.

En 1916, le curé d'alors, le chanoine Fanton décide de faire construire une maison pour abriter l'école de filles en pleine prospérité. C'est le bâtiment actuel qui abrite les élémentaires, le secrétariat et le bureau de direction. Les travaux seront terminés en 1914.

Avant cette date, l'école se situait dans l'immeuble Degros en location, pas loin du bâtiment actuel.

En 1933, la Supérieure du Couvent de Ste Marthe avise le chanoine Chevalier, successeur du Chanoine Fanton depuis 1918 que le manque de vocations d'enseignantes dans sa Congrégation ne lui permet plus d'assurer le poste de Tain. Le chanoine Chevalier fait alors appel à la Congrégation des Saints Coeurs de Tournon.

Vers 1962, l'école - déclarée école primaire - commence alors à préparer quelques grandes élèves persévérantes au Brevet Elémentaire. Dans l'école, il y a 1 classe maternelle, un CP, un CE, un CM, une classe de 6ème/5ème et une autre de 4ème/3ème : un début de collège.                        A partir de cette date, une classe va s'ouvrir chaque année.  

En 1972 les classes de collège déménagent à Tournon.

Depuis 1974, l'école Notre-Dame de l'Hermitage est mixte.

En 1988 l'équipe de l'OGEC élaborait un projet d'aménagement des locaux de l'école de garçons Saint Charles en bâtiment des classes maternelles. c'est toujours le bâtiment actuel. 

En 2021 le bâtiment au fond de la cour a été rénové pour devenir à l'étage une salle de réunions/polyvalente et au rez-de-chaussée des toilettes.

Petit Plus  ! la Vierge "Notre-Dame de l'Hermitage" qui protégeait l'ancien cuvage sur lequel a été bâti l'école, est placée de nos jours (depuis le 16 avril 1994) dans le hall de l'école, à gauche de la porte d'entrée.