Son surnom de « Château du Chat Botté » remonte au XVIIe, quand il fut la propriété de Jules Gouffier, comte de Caravaz.