17. yüzyılda, Algonquin Yerli Kızılderilileri New York Körfezi'nde tamamen suya batmış olmayan birkaç ada keşfettiler. Körfez bölgesinde bulunan kabuklu deniz ürünleri, levrek ve istiridye miktarları nedeniyle sadece üç adaya 'Oyster Adası' adı verilmiştir. Şimdi Ellis, Özgürlük ve Siyah Tom olarak bilinen üç ada Yeni Hollanda yerleşimciler tarafından isim verildi. Ada önümüzdeki üç yüzyıl boyunca yiyecek kaynağı için bir kaynak olarak kaldı.