Im 17. Jahrhundert entdeckten die Algonquinischen Ureinwohner mehrere Inseln in der New Yorker Bucht, die nicht vollständig unter Wasser standen. Nur drei Inseln erhielten den Namen "Oyster Island", aufgrund der Mengen an Muscheln, Barschen und Austern, die in der Bucht gefunden wurden. Die drei Inseln, die heute als Ellis, Liberty und Black Tom bekannt sind, erhielten den Namen von Siedlern aus den neuen Niederlanden. Die Insel blieb eine Quelle der Nahrungsversorgung für die nächsten drei Jahrhunderte.