Pollepel Island wurde viele verschiedene Namen genannt, darunter Pollopel Island, Pollopel’s Island, Bannerman’s Island und Bannermans‘ Island. Pollepel ist ein niederländisches Wort mit der Bedeutung „(Topf-) Schöpfkelle„. Die Insel liegt etwa 50 Meilen (80 km) nördlich von New York City und etwa 1.000 Fuß (300 m) vom östlichen Ufer des Hudson River entfernt. Es umfasst etwa 6,5 Acres (26.000 ^m2), das meiste davon Fels.

Pollepel Island wurde von den Europäern während der ersten Schifffahrt auf dem Hudson River durch frühe holländische Siedler in der Provinz New York entdeckt, am „Northern Gate“ der Hudson Highlands. Während des Unabhängigkeitskrieges versuchten Patrioten, die Briten daran zu hindern, flussaufwärts zu ziehen, indem sie 106 chevaux de frise (aufrechte Stämme mit Eisenspitzen) zwischen der Insel und Plum Point auf der anderen Seite des Flusses platzierten (siehe Hudson River Chains). Caissons von mehreren Chevaux de Frise ruhen noch am Flussgrund. Dennoch hinderten diese Hindernisse eine britische Flottille nicht daran, Kingston 1777 niederzubrennen. General George Washington unterzeichnete später einen Plan, die Insel als Militärgefängnis zu nutzen; Es gibt jedoch keine Beweise dafür, dass dort jemals ein Gefängnis gebaut wurde.

1867 beschäftigte das Unternehmen einen Schiffsausrüster an der Atlantic Avenue, der sich mit dem Kauf von abgenutzten Seilen für die Papierherstellung beschäftigte. Der Laden am 500-Block des Broadway wurde 1897 eröffnet, um Freiwillige für den Spanisch-Amerikanischen Krieg auszustatten. Das Unternehmen kaufte Waffen direkt von der spanischen Regierung, bevor es Kuba evakuierte; und kaufte dann über 90 Prozent der spanischen Waffen, Munition und Ausrüstung, die vom Militär der Vereinigten Staaten erbeutet und von der Regierung der Vereinigten Staaten versteigert wurden. Bannermans illustrierter Versandhandelskatalog wurde auf 300 Seiten erweitert; und wurde zu einer Referenz für Sammler antiker militärischer Ausrüstung.

Bannerman kaufte Pollepel Island im November 1900, für die Nutzung als Lagerstätte für sein wachsendes Überschussgeschäft. Weil sein Lagerraum in New York City nicht groß genug war, um einen sicheren Ort für die Lagerung von dreißig Millionen überschüssigen Munitionspatronen zu bieten, begann er im Frühjahr 1901 mit dem Bau eines Arsenals auf Pollepel. Bannerman entwarf die Gebäude (Bannerman’s Castle) selbst und ließ die Konstrukteure die Entwürfe selbst interpretieren.

Der größte Teil des Gebäudes war den Lagern des Armeeüberschusses gewidmet, aber Bannerman baute eine weitere Burg in kleinerem Maßstab auf der Insel in der Nähe der Hauptstruktur als Residenz, oft mit Gegenständen aus seiner überschüssigen Sammlung für dekorative Details. Das Schloss, vom Ufer des Flusses aus gut sichtbar, diente als riesige Werbung für sein Geschäft. Auf der dem Westufer des Hudson zugewandten Seite der Burg warf Bannerman die Legende „Bannerman’s Island Arsenal“ in die Mauer.

Um 1900–1910 rüstete die US Navy eine Reihe älterer Schiffe nach. Bannerman kaufte die alten Waffen, vermutlich zum Schrottwert. 1917, nach dem Amerikanischen Eintritt in den Ersten Weltkrieg, verkaufte Bannerman eine Reihe dieser Waffen an die US-Armee, die sie auf neuen Wagen als Feldgeschütze für die Westfront montieren sollte. Etwa 30 6-Zoll (152 mm) Ex-Navy-Geschütze wurden von der Armee erworben, aber Die Quellen geben keinen Hinweis darauf, ob einer von ihnen nach Frankreich geschickt wurde. Die 6-Zoll-Geschützeinheiten der Armee in Frankreich verwendeten hauptsächlich ehemalige Küstenverteidigungswaffen der Armee; keine dieser Einheiten absolvierte die Ausbildung und sah daher keine Aktion.

Der Bau wurde mit Bannerman´s Tod 1918 eingestellt. Im August 1920 explodierten 200 Pfund Granaten und Pulver in einer Nebengebäude und zerstörten einen Teil des Komplexes. Bannerman´s Verkäufe von Militärwaffen an Zivilisten gingen im frühen 20. Jahrhundert infolge der staatlichen und bundesstaatlichen Gesetzgebung zurück. Nach dem Untergang der Fähre Pollepel, die der Insel gedient hatte, in einem Sturm im Jahr 1950 blieben das Arsenal und die Insel im Wesentlichen leer. 

Die Insel und die Gebäude wurden 1967 vom Staat New York gekauft, der besitzte, nachdem die alten militärischen Waren entfernt und die Reliquien dem Smithsonian übergeben worden waren. Für kurze Zeit wurden 1968 Touren über die Insel gegeben. Am 8. August 1969 verwüstete ein Feuer jedoch das Arsenal und die Dächer und Böden wurden zerstört. Die Insel wurde für die Öffentlichkeit gesperrt.

Im 21. Jahrhundert ist das Schloss Eigentum des New York State Office of Parks, Recreation and Historic Preservation und liegt größtenteils in Trümmern. Während Teile der Außenwände noch stehen, sind alle Innenböden und nicht-strukturellen Wände seitdem abgebrannt. Die Insel wurde Opfer von Vandalismus, Hausfriedensbruch, Vernachlässigung und Verfall.

Mehrere alte Schotte und Dämme, die bei Flut untertauchen, stellen eine ernsthafte Navigationsgefahr dar. Auf der Insel geführte Schutzhelmtouren wurden kürzlich den Bannerman’s Castle Trust zur Verfügung gestellt. Die Burg ist für Fahrgäste der Metro-North Railroad Hudson Line und der Amtrak Empire Service und Adirondack Linien gut sichtbar. Eine Seite des Schlosses, die die Aufschrift „Bannermans“ Island Arsenal“ trägt, ist auch für südwärts fahrende Autofahrer gut sichtbar.

Irgendwann in der Woche vor dem 28. Dezember 2009 stürzten Teile des Schlosses ein. Beamte schätzen, dass 30-40 Prozent der Vorderwand des Gebäudes und etwa die Hälfte der Ostmauer gefallen sind. Der Einsturz wurde von einem Autofahrer und von Beamten der Metro-North gemeldet. Am 19. April 2015 war die Insel Ziel einer Kajaktour von Vincent Viafore und seiner Verlobten. Viafore ertrank und seine Verlobte wurde wegen Mordes angeklagt.

Am 24. Juli 2017 bekannte sie sich der fahrlässigen Tötung schuldig und saß eine kurze Zeit im Gefängnis. Am 28. Juni 2015 debütierte das öffentliche Kunstwerk Constellation der in Beacon ansässigen Künstlerin Melissa McGill auf und um die Burgruine. Die Arbeit besteht aus siebzehn LEDs, die auf Metallmasten unterschiedlicher Höhe montiert sind, die, wenn sie jede Nacht zwei Stunden lang beleuchtet werden, das Erscheinungsbild einer neuen Konstellation erzeugen sollen.

Derzeit (2021) befindet sich die Insel unter der Obhut von „The Bannerman Castle Trust, Inc.“, einer gemeinnützigen Organisation von „Freunden“ von Freiwilligen, die mit dem New York State Office of Parks, Recreation and Historical Preservation zusammenarbeiten. Der Trust widmet sich der Bündelung von Ressourcen und Finanzmitteln, um Gebäude auf Pollepel Island zu stabilisieren und das Bewusstsein zu schärfen und die Öffentlichkeit und Regierungsorganisationen über den Wert und die Geschichte der Insel aufzuklären. Der Trust macht die Insel sicher für Freiwillige und die Öffentlichkeit als Bildungs-, Kultur-, Geschichts- und Freizeiteinrichtung, die den historischen Tourismus im Hudson Valley fördert. Bannerman Castle Trust.

Bannerman`s Castle von den Autoren Barbara Gottlock und Thom Johnson wurde im August 2006 über Arcadia Press veröffentlicht. Das Buch enthält fast 200 Vintage-Fotografien, und der Text dokumentiert das Wachstum und den Niedergang der Insel. Der Erlös aus dem Buch geht an den Bannerman Castle Trust in seinen laufenden Bemühungen, die Strukturen der Insel zu erhalten und zu verbessern. Wesley Gottlock und Barbara H. Gottlock verfassten ein Kinderbuch mit dem Titel „Mein Name ist Eleanor“. Es basiert auf Fotografien, Interviews und Tagebüchern von Eleanor Seeland.

Seeland, eine Einwohnerin von Ulster County, lebte mit ihrer Familie, die Anfang des 20. Jahrhunderts Bewohner von Pollepel Island waren. Seelands Vater wurde von den Bannermans für etwa zwölf Jahre unter Vertrag genommen. Die Hauptfiguren in Adventures of a Cat-Whiskered Girl von Daniel Pinkwater (2010), das in den 1950er Jahren spielt, besuchen Pollepel Island und treffen sich mit einer Familie von Trollen, die in dem verlassenen Schloss hocken.