Son nom provient de la famille des chevaliers du Houlles dont la lignée s’est éteinte au XVIe siècle. Il est situé dans la vallée du Sedon sur un parc
en terrasse .On y entre par un porche dans une cour fermée présentant la façade remaniée à la Renaissance. Elle s’ouvre sur une salle basse sous charpente récemment restaurée, témoin rare de l’époque médiévale.