Situé non loin des « Quatre-Pavés », il n’en subsiste aujourd’hui que l’épaisse muraille, élément de fortification élevé en 956 à l'initiative des Comtes de Hainaut qui avaient voulu faire du site une sorte de résidence secondaire servant de siège à leur cour de justice itinérante. Les lieux seront alors connus sous l’appellation « Cour des Chênes » ou « Haute Cour », dénomination encore utilisée de nos jours sur les plans cadastraux. La légende locale, appuyée par un texte du IXe siècle, veut que Sainte Waudru établit en ces lieux un monastère en liaison avec celui de Saint-Ghislain. Le château du Diable aurait été le lieu de réunions amicales et de conférences spirituelles entre les deux saints. Le classement des vestiges de la muraille eut lieu le 11/09/1981.