En 1918 Bannerman muere y la familia decide que las obras cesen aunque quedan algunos detalles por terminar. En 1920 200 toneladas de pólvora explotan en uno de los edificios auxiliares y se destruye parte del complejo. Con el tiempo la venta de armas a civiles disminuye y en 1950, tras el hundimiento en una tormenta del Pollepel, el ferry que se usaba para comunicar la isla, esta es abandonada por completo. La isla y el complejo de edificios fueron comprados por el Estado de nueva York en 1967 y en 1968 se abrió la isla al público y se organizaban recorridos por el castillo, pero en 1969 se declaró un incendio en extrañas circunstancias que destruyó las cubiertas y los suelos de las plantas y la isla fue cerrada al público de nuevo. Desde entonces las subidas y bajadas del rio han destruido casi por completo los muros del puerto, quedando solo las torretas y puentes rodeados por agua; el clima ha hecho que pierda su pintura blanca y gran parte del recubrimiento de las fachadas y el vandalismo y la vegetación tambien han contribuido a que poco a poco los muros se vallan destruyendo. En diciembre de 2009 una de las esquinas del edificio central se derrumbó, el 30 o 40 por ciento de la estructura, y poco después siguió viniéndose a abajo y hoy en dia solo queda una torre y parte del muro de la fachada frontal.
El castillo se puede ver desde un famoso tren que pasa cerca del río y se pueden hacer excursiones guiadas y con cascos. En 2008 se grabaron algunas de las escenas de la película ''Transformer: Dark on the Moon'' en el castillo. Se ha utilizado para muchos escritos, de los que cabe mencionar el libro ''Bannerman Castle'' cuyos autores son Barbara Gottlock y Johnson Thom, en él se cuenta toda la historia de la isla y se muestran 200 fotografías. Las ganancias de su venta van a parar a Bannerman Castle Trust, una organización de el Estado de Nueva York que se encarga de las excursiones a la isla y de reabilitar algunas de las pocas estructuras que quedan del castillo.
