Nel XVII secolo, gli indiani nativi dell'Algonquin scoprirono diverse isole della baia di New York che non erano completamente sommerse dall'acqua. Solo tre isole furono chiamate "Oyster Island", a causa della quantità di molluschi, spigole e ostriche trovate all'interno della baia. Le tre isole ora conosciute come Ellis, Liberty e Black Tom hanno ricevuto il nome dai coloni dei nuovi Paesi Bassi. L'isola rimase una fonte di approvvigionamento alimentare per i tre secoli successivi.