Entre otros fenómenos ocurridos, se ha visto una figura de una mujer con una túnica blanca deambulando por las almenas y varias personas han oído alaridos y lamentos en determinadas partes del castillo, también diversas luces inexplicables. En el pueblo hay gente que cree menos y otras que creen más, pero todos ven en "Manuela" o "Manola" (como llaman al espectro o lo que sea) a un habitante más de este pueblo. Se explica el origen del fenómeno como un parricidio: la hija del señor musulmán del castillo es infiel a su prometido con un cristiano y aquella degüella en una determinada parte del castillo, en una especie de bañera o gaveta de piedra que se cree que formaba parte de un antiguo aljibe. Esta es una explicación bastante típica en nuestro país de fantasma "castillero". Al parecer surgió durante la práctica de una sesión de ouija por las diversas personas que han acudido a él. Hay otra versión que dice que la "Manuela" fue una especie de cantinera o mujer que acompañó a los soldados en el asedio de Lopez de Madrid en 1452 y que murió allí.
Muy cerca del castillo se encuentra situado un pequeño promontorio conocido por los antiguos habitantes del pueblo como "cerro del ahorcado", el origen de dicho nombre es incierto, hay algunos que entienden que en aquel promontorio se ajusticiaba a los malhechores antiguamente, pero no hay nada claro. Otra versión parecida pudiera tener que ver con las distintas guerras y asedios que tuvieron lugar en la localidad y en las cuales los soldados vencidos sufrieran la ira de los vencedores con esta manera de ejecución. Otro origen pudo haber sido un suicidio de un antiguo habitante y que pudiera haber quedado grabado en la memoria del subsconsciente popular. Lo único que está claro de todo esto es que se desconoce su origen.
Al igual que en el caso de la colina del ahorcado, no se conoce de dónde proviene dicho nombre. Hay varias hipótesis al respecto: hay una que mantiene que en la ladera del castillo y por donde transcurre esa subida se encontraban distintos enterramientos rupestres quizás producto de las muertes ocasionadas durante las distintas guerras, asedios y enfrentamientos armados acaecidos en los alrededores o también quizás constituyeran los restos de esa Riba superior que estarían situados en esa ladera orientada al este y más amesetada que la otra vertiente de la montaña en donde se asienta el castillo. Hay otra versión que consiste en que en esta zona se produjeron fuertes enfrentamientos armados en alguna determinada contienda y con gran mortandad y que por eso se quedó este nombre. Por último, podría consistir dicho camino en el recorrido de la procesión funeraria que partiendo del pueblo de la Riba tendría como término el patio trasero del castillo convertido en cementerio del pueblo durante una determinada época, debido a una gran mortandad producida por ejemplo por una fuerte epidemia.
Hay también una leyenda que indica que dentro del castillo se hallaba una gallina que producía los huevos de oro, que se quedó clueca y que ponía los pollos de oro. Todo ello tiene su origen en la contribución que tenían que pagar en tiempos los habitantes del pueblo para el sostenimiento de la escasa mesnada que mantenía el obispo de Sigüenza en el castillo y que consistía en una gallina anual por vecino. Contribución ridícula que pasado el tiempo se abandonaría al quedar el castillo vacío y en ruina al perder su objetivo de protección de la zona por los períodos de paz que siguieron al afianzamiento del poder real en Castilla y en España.
La verdad es que durante el acondicionamiento y rehabilitación del castillo, los albañiles del pueblo que trabajaban en ello sacaron algunos restos humanos de allí. El origen de aquellos restos se desconoce, puede ser debido al uso de ese patio por el pueblo como cementerio, al igual que en otros castillos como por ejemplo el cercano de Medinaceli. Ese uso como cementerio pudo ser ocasional, con motivo de una epidemia por ejemplo o ya más estable en una determinada época en la que el castillo estuvo abandonado y ruinoso. Otra versión más acertada es el uso de ese patio como lugar de enterramiento a los caidos durante un determinado asedio o hecho de armas. Fue usado durante el asedio de 1452 por los caballeros navarros y aragoneses que ocupaban el castillo como lugar de enterramiento de sus muertos al no poder enterrarlos fuera del recinto al estar sitiados por las tropas del obispo de Sigüenza.
En 1981 acudió al lugar un equipo del programa radiofónico MEDIANOCHE, programa pionero de la cadena SER en misterio y parapsicología presentado por Antonio Jose Alés, para investigar e intentar comunicarse con las entidades fantasmales que viven en él, lo que nunca podrian pensar en sus más horribles pesadillas es que estas entidades sí quisierón presentarse a tan ilustre programa, lo que se tradujo en voces misteriosas, presencias, sensación de frio, sensores de movimiento que se volvieron locos ...etc...tal fué el terror y miedo que pasaron que Antonio Jose Alés no lo contó en la radio, según los componentes del equipo "fue la primera experiencia seria que él tuvo", "le sobrepasó un poco", "no quiso seguir investigando". Todos los miembros del equipo salieron bastante impactados de esa experiencia.
