Château de Brough fut construit dans le 1090's dans un coin des vestiges d'un fort romain. Il a été un des premiers châteaux pierres à être construit en Grande-Bretagne et certains des murs afficher le modèle en arête de poisson typique de la maçonnerie de Norman. En 1174 Brough a été attaqué par le roi écossais, William le lion et laissé dans un état de ruine après il a forcé un abandon en mettant le feu au château. En 1180, que le château a été reconstruit par Theobald de Valoignes qui a construit un nouveau donjon de quatre étages sur le site de celui précédemment détruit.