Le bâtiment est construit sur l'ancien château féodal du 12/13 ième siècle dont il conserve encore le donjon et une tour de défense incluse sous la terrasse qui donne au sud .Ce château féodal était la propriété d'Arnulphe d'Urfé qui légua à son fils ainé les Cornes d'Urfé et à son fils cadet le château de st marcel d'Urfé ou sa descendance vécu pendant 12 générations sous le nom de Raybe .Ce château fut transmis, par dot, à la famille Albon puis vendu au seigneur Neufbourg.

Le château féodal fut transformé en 1563/68 en château "agréable à vivre ".Il fut après la guerre de 45 la propriété des houillères de St Etienne qui l'aménagèrent en colonie de vacances en faisant d'énormes transformations qui sont à l'origine de son architecture actuelle.