In de 17e eeuw ontdekten de Algonquin indianen verschillende eilanden in de baai van New York die niet helemaal onder water stonden. Slechts drie eilanden kregen de naam 'Oyster Island', vanwege de hoeveelheid schelpdieren, zeebaars en oesters die in het gebied van de baai werden gevonden. De drie eilanden die nu bekend staan als Ellis, Liberty en Black Tom kregen de naam van New Netherlandse kolonisten. Het eiland bleef de komende drie eeuwen een bron van voedselvoorziening.