Selon toute vraisemblance, c’est Guillaume III Bertier, Seigneur de Saint-Geniès, capitoul et secrétaire du Roi, qui fait construire le château entre 1580 et 1600 durant les années troublées de la fin des guerres de religion. 

Le bâtiment, à deux étages de brique, montre pour seul ornement un fort bandeau soulignant les niveaux. La distribution intérieure est conforme à celle de nombreux châteaux de la fin du XVIe siècle : un escalier à rampes droites et paliers de repos, soigneusement bâti avec des voûtes rampantes, coupe la maison aux deux tiers. 

Au XVIIIe siècle, les fenêtres sont agrandies et un théâtre d'été ajouté.   

En 1742, Jean-Pierre de Lassus, capitoul, rachète la seigneurie et le château. 

En 1793, au moment de la Terreur, des révolutionnaires de Toulouse viennent arrêter son fils Jean-François ; mais celui-ci est sauvé par les paysans du village menés par leur chef Pichou. 

Jeanne Gounod, la fille du célèbre compositeur Charles Gounod, épouse de Pierre de Lassus Saint-Geniès, vécut de très nombreuses années dans le château où elle décède en 1946. 

Le château est construit quelques années avant la fin des guerres de religion. La date exacte de la construction est inconnue ainsi que le nom de l’architecte. La tour de défense qui subsiste rappelle qu’au moment de la construction du château, les guerres de religion ne sont pas terminées. 

Au XVIIIe siècle, deux ailes sont créées en avant de la façade ouest pour former une cour d’honneur ; celle du nord contient au rez-de- chaussée un salon, celle du sud un office relié à la cuisine. Elles sont prolongées par deux corps bas encadrant la basse-cour, celui du sud servant d’écurie et de remise à voitures et celui du nord doté d’une grande salle pouvant servir de théâtre. 

Un plan daté de 1767 nous donne une idée précise du parc aménagé sur le flanc nord du château. Orientée est-ouest, une allée d’arbustes taillés conduit à un banc de pierre en arc de cercle agrémenté d’une statue. Au fond du parc, un bois est planté et au centre un bassin circulaire est construit d’où partent des allées en étoile. Plusieurs statues sur des socles marquent les axes. 

La fille de François de Bertier, vend en 1742 le domaine et la seigneurie à Jean-Pierre de Lassus, officier du génie de la marine, de retour des Antilles après le décès de sa femme, et qui vient d’être nommé́ capitoul. 

Agrandi et modernisé 20 ans plus tôt, le château ne subit pas de modification.   

Vers 1820, le parc à la française, passé de mode et sans doute négligé́, est transformé́ en parc à l’anglaise avec la plantation de nouveaux arbres dont des cèdres. La plupart subsistent encore aujourd’hui. 

Les derniers travaux ont lieu en 1907. L’aile sud, plus étroite en raison de la présence de l’église paroissiale, est remaniée et élargie pour avoir les mêmes dimensions que l’aile nord. Cela permet de transformer l’ancienne cuisine en salle à manger et d’en établir une nouvelle dans l’aile agrandie. À l’arrière, une salle de bain et des pièces de service sont aménagées. Le second étage est lui aussi modifié car l’élargissement de l’aile permet de créer autour de la chambre une vaste loggia de style florentin accompagnée d’une tour-belvédère. 

Pendant la seconde Guerre mondiale, les Allemands voulurent réquisitionner le château mais les propriétaires parvinrent à les en dissuader.