Documentado desde 1082 cuando los condes de Barcelona Ramón Berenguer II y Berenguer Ramón II junto con la condesa Mafalda el dia 29 de enero donaban al Ramón Folc, vizconde de Cardona este castillo y el de Maldanell.. Más tarde, en tiempos del rey Jaume II retornan a los Cardona (vizcondes de Osona) pero que finalmente pierden el dominio del castillo al vender Pere de Cardona los derechos a Bernat Albert, señor de Ponts. A finales del siglo XI se procede a la reconstrucción del castillo.
Este gran castillo-palacio en su larga vida ha tenido innumerables transformaciones, modificándose a lo largo del siglo XIII, ampliado dos siglos después y convirtiéndose en palacio en 1682. Actualmente restan las paredes maestras debido a los ataques carlistas de 1833.