Une première construction, correspondant à la partie orientale du château actuel, est édifiée dès la fin du 14ème siècle. Remanié à plusieurs reprises, il accueille aujourd'hui la mairie et le musée de la Maison des gorges entre autres.
Description
Dès la fin du XIV° siècle ou au début du XV° siècle, un château ou une fortification paraît avoir été édifié à l'emplacement du château actuel, à l'extrémité ouest du village qui s'était développé à partir de l'église et d'une possible grange forte ecclésiale depuis quelques décennies.
Il est probable qu'une cour fermée accompagne le château dès cette époque.
Ce premier château devient la propriété de la famille de Demandolx au début du XVI° siècle. Néanmoins, pour l'essentiel, l'aspect actuel du château résulte de grand travaux d'aménagement et d'agrandissement réalisés entre 1744 et la Révolution.
Le château, confisqué à la Révolution, est loti puis vendu aux habitants de La Palud. Sur le cadastre de 1835, il est partagé entre 18 propriétaires. A la suite de la vente, un atelier de potier est aménagé à l’angle sud-est ; il reste actif jusqu’en 1927. La construction de l’escalier à l'extrémité sud de la façade ouest date sans doute de cette période. Le château est racheté par la commune en 1984 et de nombreux et importants travaux de reprise et de réfection sont réalisés entre cette date et 2010.