La fortaleza se construyó por la necesidad de la población de los distintos burgos o burguillos de las inmediaciones, acosados por el asedio de los cristianos y fueron seguramente ellos, los pobladores de estas pequeñas aldeas, los constructores del castillo. La población fue conquistada allá por 1230 por los Templarios hasta la disolución de ésta Orden por el Concilio de Viennes. En el año 1320, el rey donó la villa y el castillo a Alfonso Fernández Coronel, señor de Aguilar, y más tarde en 1393 pasó a Diego López de Zúñiga, señor de la Casa de Béjar, hasta la finalización de los señoríos.
Dominando el valle y la ría, en una peña llamada Leboreiro,se alza el Castillo de Andrade.
Lo construyó Fernán Pérez de Andrade, entre los años 1369 y 1377.
La torre del homenaje es lo que se halla en mejor estado.
Por sus reducidas dimensiones se supone que sirvió como baluarte destacado o atalaya.
