Abans de l’any 1057 el comte de Barcelona Ramon Berenguer III va manar construir un castell com a rèplica del que va edificar per les mateixes dates a Vilademuls el comte de Besalú, Guillem II. Poc després els mateixos comtes, segons consta en un document, van acordar enderrocar els dos edificis en les mateixes proporcions; però en realitat ambdós es van deixar intactes i es van conservar durant tota l’Edat Mitjana. Actualment no queda rastre d’aquell castell. Tot fa pensar que era construït als voltans de l’església i que comprenia la superfície del nucli més antic del poble i que, quan es va enderrocar -segurament als segles XVI-XVII-, les seves pedres van servir per edificar les cases que hi ha en aquells indrets des de la rectoria, fins a can Menosa, passant per can Fort i can Vidal.