Au XVIIe siècle, les Amérindiens algonquins ont découvert dans la baie de New York plusieurs îles qui n'étaient pas entièrement submergées par l'eau. Seules trois îles ont reçu le nom d'"Oyster Island", en raison de la quantité de coquillages, de bars et d'huîtres trouvés dans la baie. Les trois îles connues aujourd'hui sous les noms d'Ellis, Liberty et Black Tom ont été baptisées ainsi par les colons des Pays-Bas. L'île est restée une source d'approvisionnement alimentaire pendant les trois siècles suivants.