Durante la Revolución Francesa, el conde de Liedekerke Beaufort y su familia, que estaban muy involucrados en la política belga, dejaron su residencia, el Castillo de Vêves, para refugiarse en una granja cercana aislada en un bosque en 1792. La familia decidió construir una nueva residencia en el lugar donde se situaba la granja tras el fin de la revolución y encargó su diseño al arquitecto y diseñador de jardines Edward Milner, que diseñó una mansión de estilo neogótico ingles. Las obras comenzaron en 1866, pero Milner murió antes de que finalizara la construcción, lo que hizo necesario contratar al arquitecto francés Pelchner para que finalizara el proyecto. En 1903 se construyó la torre del reloj y en 1907 se finalizó la obra con la construcción de las caballerizas.
El edificio cuenta con 550 ventanas y la torre reloj mide 56 metros de altura.
Durante la Segunda Guerra Mundial, fue ocupado brevemente por las tropas alemanas. Durante la Batalla de las Ardenas, también se ocupó la propiedad.
En 1958 los herederos del castillo se trasladaron y este fue alquilado a la Compañía Nacional de Ferrocarriles de Bélgica (NMBS) y usado como colonia vacacional para hijos de ferroviarios y sanatorio infantil para niños con mala salud. Fue entonces cuando el castillo pasó a llamarse Casa de Noisy o Castillo de Noisy. Equipado con doscientas plazas, dio cobijo a los niños, proporcionando aire fresco, un parque fabuloso y una comida sana. En la plaza que separa el castillo de las caballerizas se instaló un pequeño campo de fútbol y la fuente del jardín se convirtió en piscina. El régimen en el castillo era dirigido estrictamente por funcionarias y los niños debían ir vestidos con uniforme. Habitualmente estaba ocupado por niños franceses y flamencos de entre cinco y catorce años procedentes de Bélgica y durante la temporada de vacaciones por niños de Italia.
En octubre de 1975 sirvió de escenario para una producción televisiva ambientada en los años 30. En 1977 la NMBS devolvió el castillo a los descendientes del conde de Liedekerke Beaufort, debido al alto coste del mantenimiento, y en 1978, después de realizar trabajos de restauración en el vecino Castillo de Vêves, el conde utilizó el edificio como una escuela de deportes y de naturaleza y para la realización de seminarios. Durante este tiempo fue conocido en Bélgica como la Escuela de Campo. En esta época existía una entrada que te permitía visitar al vecino castillo de Castillo de Vêves y la colección de piezas de porcelana del Castillo de Noisy.
En la década de 1990 los propietarios comenzaron a buscar inversores, con el deseo de transformar el castillo en un hotel. Debido a los altos costes de mantenimiento y de renovación, los planes fracasaron y el castillo fue abandonado en 1991.
En 1995, una parte del techo se destruyó a causa de un fuego, supuestamente provocado por unos jóvenes locales que hicieron allí una fiesta y poco después el propietario retiró los suelos de madera, las chimeneas y el mármol italiano azul para utilizarlo en el Castillo de Vêves y en un castillo de Italia. En 2006, una violenta tormenta, hizo que el techo de las caballerizas se viniera a abajo. El municipio de Celles se ha ofrecido a comprar y restaurar el castillo pero la familia se ha negado desprenderse de él. En 2009 el exterior del castillo fue utilizado para la filmación de la película Anubis y la venganza de Arghus.
A pesar de estar oculto en el bosque, el Castillo de Noisy es uno de los lugares mas populares entre los exploradores urbanos.
https://www.facebook.com/media/set/?set=a.1585491851705042.1073742029.1527402824180612&type=3
