Cuenta la leyenda que cuando se marcharon definitivamente los moros rebeldes de Bélmez, tuvieron que irse huyendo porque eran de los últimos que quedaban ya. En su huida no pudieron llevarse los tesoros que tenían en el castillo, que eran muy abundantes porque en aquella tierra había mucha riqueza, minas de plata, que ellos sacaron a flote.
Entonces, para preservar el tesoro del saqueo de los cristianos, lo metieron en las más profundas mazmorras del castillo y para su custodia dejaron un ánima, una Encantá de castillo. Dicen también que por ello en las Sagradas Escrituras de los moros decían antiguamente de este pueblo que "si supieran los labradores de Bélmez de la Moraleda, lo que había en el Cerro de la Silla, labraban la tierra con reja de oro". El Cerro de la Silla está precisamente enfrente del castillo de Bélmez.
Son muchas las gentes que han venido a cavar túneles en el castillo buscando la puerta del tesoro, pero nadie ha dado con ella, además la Encantá se aparece frecuentemente por las noches y su resplandor se puede ver en ocasiones desde los cortijos de Bélmez.
Hace muchos años vino al pueblo una mujer que decían que era medio sabia (bruja) y que decía que aquí había mucho oro enterrado. Se quedó durante algún tiempo y contratando a varios obreros se gastó todo el dinero que tenía en cavar y ahondar estos cerros, sin conseguir sacar nada de provecho. Al final tuvo que marcharse completamente arruinada, pero con la obstinación de los muchos tesoros y riquezas que sin lugar a dudas guardan estas sierras en sus entrañas.