Zamek góruje nad miastem Appleby-in-Westmorland i rzeką Eden. Był ufundowany przez Ranulf le Meschin pod koniec XII w. Około 1170 r.wybudował kwadratowy, kamienny bastion, który został nazwany Wieżą Cezara, która jest teraz jedną z najlepiej zachowanych wież tego typu. Aktualnie ma prawie 800 lat. W zamku zamieszkiwała rodzina królewska podczas najazdu szkockiego pod dowództwem  króla Williama the Lion w 1174 r. Na szczęście zamek praktycznie nie ucierpiał w czasie walk i przeszedł w ręce króla Henry II.

W 1269 r. zamek odziedziczył Roger de Clifford. Pozostał on w posiadaniu rodziny przez następne 400 lat. W XVII w. Lady Anne Clifford zamieszkała w zamku. Dzięki niej zamek przeżył swoje lata świetności jako tzw: „Lady Anne’s Bee Mouse”. Po jej śmierci zamek przejął hrabia Thenet, który przebudował budynek z hall’em w klasyczny dom, który stoi naprzeciw normańskiej wieży. Hrabia do budowy domu użył mnóstwo kamieni z ruin zamków Brough i Brougham.

UWAGA! Zamek jest w rekach prywatnych i nie jest udostępniony do zwiedzania.