Les ruines du château de Lourdon, qui dressent leur 9 piliers carrés sur une butte au nord du village, comptent parmi les plus pittoresques de la Bourgogne.
Le château est bâti à 3 km au nord de Cluny. Il se dresse au sommet d'une butte orientée nord-est - sud-ouest, occupe un rectangle de 57 x 110 m, précédé au sud d'une terrasse de même taille.
La façade la plus spectaculaire est la façade sud, côté village, qui est ornée de 9 énormes piliers carrés de maçonnerie, correspondant aux ruines d'un jeu de paume. Cette façade est également munie d'une tour ronde demie-hors-oeuvre, avec cave, rez-de-chaussée et deux étages, qui était encore habitée au début du XXe s.
A gauche de la tour, une poterne permet d'entrer dans une première cours, puis dans le 'jeu de paume", vaste salle de 17 x 42 m. Une entrée plus importante, au nord-est, est défendue par une tour ronde. La partie nord-ouest du château est moins lisible. On y voit d'énormes blocs de murailles effondrés suite à la destruction du XVIIe s., et on y remarque également un départ d'escalier en vis.
Au XVIe s., la butte a été dotée à la base d'une enceinte, qui forme un polygone irrégulier de 800 m de diamètre. Il en reste plusieurs tours basses sans canonnières, et la chapelle Saint-Hubert, dont le choeur forme tour de flanquement, et qui a été dotée de créneaux au siècle dernier.