Les premiers seigneurs portant le nom d’Arlempdes possédèrent ce fief jusqu’au XI siècle. Il passa par vente ou donation à la puissante famille des barons de Montlaur, puis par alliance aux Poitiers-Valentinois (Diane de Poitiers avait parmi ses titres celui de Dame d’Arlempdes), puis au la Tour d’Auvergne. Il fut vendu et racheté par plusieurs familles. La dernière baronne d’Arlempdes, Emmanuelle de Laval en fit don en 1933 à l’oeuvre du Prado à Lyon
L’Association de Sauvegarde et d’Animation du Château d’Arlempdes se constitue en 1963 à l’initiative de Louis Bourbon avec les descendants de la famille d’Arlempdes de Goÿs, afin de le sauver de la ruine et le rachète en 1964.
L’ensemble est inscrit à l’Inventaire Supplémentaire des Monuments Historiques depuis 1926.