Katika karne ya 17, Wahindi wa Algonquin asili waligundua Visiwa kadhaa katika New York Bay ambavyo vilikuwa viko kabisa katika maji. Tu Visiwa vitatu walipewa jina la ' Oyster Island, ' kutokana na kiasi cha samakigamba, bass na oysters kupatikana ndani ya eneo Bay. Visiwa vitatu hivi sasa hujulikana kama Ellis, Liberty na Black Tom walipewa jina na walowezi wapya wa Netherland. Kisiwa imebakia chanzo kwa ajili ya usambazaji wa chakula kwa karne tatu ijayo.