En restaurar-se l'any 1958 es descobrí la seva estructura primitiva (s.XIII). Probablement formava part de les Escrivanies. En el segle XVIII fou residencia deis Josa, que el reformaren i ampliaren. Actualment és la seu del Museu Comarcal i conté un important fons de col•leccions d'arqueologia, etnologia, belles arts i documentació referents a la Conca de Barbera.