Mais, non é ata a idade media, sendo Galicia un reino suevo, cando distintos indicios sitúan a orixe de Negreira. De feito, unha vez erixida a sé de Compostela, Afonso o Magno cedeulle a Negreira como feudo no ano 876, concesión que foi confirmada despois ó bispo Sisnando (899).
Transcorrido pouco máis dun século tras a concesión, no ano 979 os piratas normandos destruíron este primitivo núcleo feudal, non reedificándose ata despois da irrupción dos musulmáns cordobeses, mandados por Almanzor, que atacarían Santiago no ano 997. Non sería ata o ano 1113 cando Afonso, o rei de Galicia, ordenaría a súa reconstrución.
Existe documentación, sostida por unha forte tradición oral, que avala a posibilidade da existencia dun castelo en Xallas, propiedade da mitra compostelana, castelo que desaparecería nas guerras irmandiñas do século XV.