Le donjon de Gayette date de la fin du Moyen-âge. En 1698, il fut donné aux frères Saint-Jean de Dieu comme hospice pour accueillir les pauvres. C'est aujourd'hui une maison de retraite médicalisée.
La chapelle a été élevée au XVIIème siècle à l'extrémité Est du bâtiment pour agrandir l'actuelle maison de retraite. Ses dimensions sont inhabituelles : elles se présentent sous la forme d'une vaste salle presque carrée. Elle possède une crypte funéraire. Elle était prolongée par la salle des malades. L'intérieur orné de panneaux de stuc encadrés de moulures de style rocaille, ainsi que des boiseries de style Louis XV.
