В 17 веке коренные индейцы Алгонквина обнаружили в бухте Нью-Йорк несколько островов, которые не были полностью погружены в воду. Только три острова получили название "Остров Устриц" в связи с количеством моллюсков, окуней и устриц, найденных в районе залива. Три острова, известные сейчас как Эллис, Свобода и Блэк Том, были названы поселенцами из Новых Нидерландов. В течение следующих трех столетий остров оставался источником питания.