En el siglo XVII, los indios nativos algonquines descubrieron varias islas en la bahía de Nueva York que no estaban completamente sumergidas en el agua. Sólo tres islas recibieron el nombre de "Oyster Island", debido a la cantidad de mariscos, lubinas y ostras que se encontraron en la zona de la bahía. Las tres islas ahora conocidas como Ellis, Liberty y Black Tom recibieron el nombre de los colonos de Nueva Holanda. La isla siguió siendo una fuente de suministro de alimentos durante los tres siglos siguientes.