Le petit séminaire de Châtel fut créé en 1827 en vue de remplacer celui de Senaide, insuffisant et trop excentré (arrondissement de Neufchâteau, canton de Lamarche dans les Vosges).
Monseigneur Jacquemin acheta deux bâtiments, alors mis en vente sur l’emplacement de l’ancien château – au nord, celui de l’Ecole des Religieuses de Notre Dame, édifié en 1706 sur les restes de l’ancien arsenal – à l’est, celui du Couvent des Capucins, édifié en 1707 sur les restes de l’hôtel Neufchâtel. On abattit alors une épaisse muraille qui empêchait la communication entre les deux couvents.
En 1835, ces deux bâtiments furent reliés entre eux grâce aux libéralités du vicaire général Mougeot ; la nouvelle construction rejoignit le Couvent des Capucins à l’entrée de l’entrée de la grande salle de récréation.
De 1841 à 1844, une chapelle de style ogival fut construite à l’emplacement d’une huilerie par Monsieur Florian Reiber, supérieur.
En 1848, le chanoine Morquin établit un plan de reconstruction général en respectant l’ancienne disposition. L’on commença par l’ancien bâtiment des religieuses qui était dans un triste état. Pour faire cette construction, l’on dut renverser un énorme rempart qui s’élevait à l’extrémité du verger et diminuer de 1.5m le mur qui séparait le verger du potager.
En 1849, on démolit l’ancien couvent des capucins en conservant toutefois la partie des anciens bâtiments qui dominait le Durbion.
En 1850, l’on fit une terrasse à l’extrémité de la grande salle construite sous le couvent. Ce bâtiment comprenait au rez de chaussée une vaste salle de récréation, au premier étage les chambres des professeurs et au second étage les dortoirs.
Lors de la séparation de l’Eglise et de l’Etat le 05 décembre 1905, les deux séminaires de Châtel et d’Autrey furent mis sous séquestre. Comme l’Etat ne savait qu’en faire, après trois années d’attente, il les revendit au Conseil Général. Celui-ci très embarrassé, décida en 1911 d’en faire deux hospices. Finalement celui de Châtel fut converti en maternité.
L’ensemble des bâtiments, que la guerre avait épargné, fût démoli dans les années 1960 pour édifier en 1965 le bloc actuel de la maison de retraite.
La barre HLM plus à l’est fut construite dans les années 1970-1971 et la construction d’un troisième bloc, alors en projet, put être arrêté par la création de l’Association du vieux Châtel en 1972