l terme del Brull és documentat des del 905 com a territori pertanyent al gran terme anomenat Sevedà o Sevedano. A partir del 994 s’esmenta el terme del castell del Brull, de Brolio, que en endavant inclourà tot l’antic territori Sevedà.
El castell refet el segle XII aixeca encara les seves ruïnes en el turó que es troba enfront de l’església de Sant Martí del Brull, que entre el 1018 i el 1044 era coneguda com Sant Martí de Castellar. El castell del Brull fou cedit, almenys des de principis del segle XI, a la família vescomtal d’Osona, que més tard prendrà el cognom i títol de Cardona. En desplaçar-se definitivament a Cardona els vescomtes varen vendre el castell i terme del Brull al bisbe i església de Vic per vendes dels anys 1266 i 1271.
El castell del Brull del segle XIV en endavant, fins el 1812, els bisbes de Vic es diran senyors i barons del Brull.
El castell tenia planta pentagonal amb torres als cinc angles. Ara resta visible la planta i es conserva una cara dels murs i bona part d’una torre.