La Biblioteca ocupa dues plantes del Castell. En la rehabilitació es va treure una escala de fusta que pujava a les golfes. Hi havia hagut les habitacions de l’època que va ser hostal. A les parets s’hi poden veure fragments de murs. 

Les golfes eren la part més malmesa de l’edifici abans de la rehabilitació, a causa d’un incendi al nivell dels cups i de filtracions d’aigua d’un dipòsit. 

A cada cantonada hi ha garites de defensa i de guaita amb espitlleres, i al llarg de les quatre façanes podem veure una renglera de finestres que, en altres èpoques, es creu que podien haver estat merlets de defensa i que, després de la Guerra de Successió, es va anul·lar l’aspecte militar i es va construir la teulada a quatre vessants. 

Si ens acostem a les finestres d’aquesta planta, en els diferents punts cardinals, observarem unes magnífiques vistes del poble. Segur que encara eren més espectaculars quan era l’edifici que sobresortia de tot l’entorn. 

És evident la seva funció de protecció per al poble al llarg dels anys. I avui és un referent de la vida cultural i social de Pallejà.