Combret est « un témoin précieux et préservé de l’évolution de l’architecture seigneuriale de la fin du XIIIème à la fin du XIXème siècle » représentatif de l’évolution des bâtisses d’un usage initialement strictement militaire dont il garde encore des éléments vers une maison de simple agrément qu’il est aujourd’hui.
Une coseigneurie est mentionnée à Combret, à la fin du XIIIème siècle ; la tour et les vestiges d’une baie en plein-cintre géminée de la façade ouest, datables de la fin du XIIIème ou du début du XIVème siècle, appartiennent aux parties les plus anciennes du château qui se composait probablement dès l’origine d’un donjon et d’un logis en retour d’équerre.
Le château médiéval a été transformé et agrandi par les propriétaires successifs :
> Hugues Ier de Caulet, trésorier des domaines du Roi en Rouergue, l’acquiert vers 1567 à l’orée des Guerres de Religion et fait réaliser des travaux : percement de croisées et de demi-croisées, construction d’une tourelle d’escalier adossée au donjon.
> Jean de Tullier, bailli de Rodez et trésorier général des finances de Montauban et son épouse Madeleine de Maynard, propriétaires à partir de février 1641, aménagent notamment une terrasse au pied de la façade nord.
> Jean-Hilarion de Viguier de Grun (1722-1809), Gouverneur des Pages à la Grande Écurie du Roi, s’en rend propriétaire en 1779 et fait percer des baies au 2ème étage à la fin du XVIIIème ou au début du XIXème siècle. En 1810, le château passe par mariage à la famille d’Yzarn de Freissinet de Valady.
> Christian de Valady (1868-1935), auteur de l’« Histoire des châteaux de l’ancien Rouergue », réalise des restaurations à partir de 1889 et modifie la distribution intérieure.
Le château s’est depuis progressivement et fortement dégradé :
> Écroulement de la terrasse XVIIème
> Désolidarisation progressive du donjon XIIIème et de la tour escalier XVIème
> Ruine des huisseries nuisant à l’étanchéité et la préservation du bâti
Pour que le château puisse traverser le XXIème siècle il devenait urgent que des restaurations majeures soient réalisées ; elles ont débuté en 2024 et devraient durer jusqu’en 2035.