El castillo de Balaguer es conocido como Castell Formós desde la baja edad media. Conocemos la fecha de la fundación gracias al historiador Ibn Hayyan, que recoge el relato de Isa b. Ahmad al-Rasi referente a los hechos que suceden en la Marca Superior d’Al-Ándalus en 284 de la Hégira (897-898 dC): “Isa b. Ahmad informa: en este año del señor de la Frontera Superior Lubb b. Ahmad al-Qasi atacó el castillo de Aura, en la demarcación de Barcelona, sede del usurpador franco. Lubb tomó el castillo, lo quemó y ocasionó daños al enemigo. Al encontrarse con el conde de esta región, Anqadid ibn al-Mundir (Wifredo el Velloso), padre de Suniario, lo obligó a huir, dispersó sus tropas y ese día, en lucha, dio al usurpador Anqadid un golpe del que murió pocos días después. ¡Dios puso de manifiesto en él el gran favor que tiene para con los musulmanes! El hijo de Anqadid, Suniario —a quien Dios maldiga—, heredó la dignidad de su padre. En este año, en el mes de Ramadán (octubre del 897dC), empezó Lubb b. Muhammad la construcción del hisn Balagi (castillo de Balaguer), en los distritos de la lejana Lérida.”
A mediados del siglo XI, se edificó en su interior un palacio que se decoró con refinados atauriques realizados sobre yeso y policromados. El programa decorativo principal se basa en motivos vegetales y geométricos, pero también se desarrollan frisos epigráficos en los que se leen fragmentos del Corán y motivos zoomorfos como una arpía dotada de manos o un pájaro.
Poco sabemos acerca de la distribución de las estancias del palacio, salvo que una alberca regaría una zona ajardinada cercana a una galería de arcuaciones polilobuladas y profusamente decoradas que miraría hacia la zona del río Segre.
Con la conquista de principios del siglo XII, los condes de Urgel ocuparon el antiguo palacio y lo convirtieron en su residencia. En el siglo XIV se realizaron en él grandes obras de reforma que comportaron la conversión de toda la zona norte en un gran jardín regado por canales de cerámica construidos con alicatados y baldosas fabricadas por artesanos moriscos en Manises-Paterna, que daban a los nuevos espacios un aire de continuidad estilística con el antiguo palacio andalusí.
El castillo de Balaguer fue destruido en 1413 a raíz de la guerra entre el último conde de Urgel Jaime II el Desventurado y el rey Fernando I de Antequera.