В каждом здании есть прошлое. До восстановления острова Эллис остров был когда-то оккупирован коренными американскими племенами, известными как племя Алгонквин, которое находилось в северо-восточной части Северной Америки. Говорят, что коренное американское племя стекалось на остров, потому что на нем обитали свежие устрицы, моллюски, плавники и полосатый окунь - все это было источником пищи. Позже голландцы дали острову название "Остров Устриц". Археология, полученная в 1985 году, когда на острове Эллис произошло восстановление, что кости уток, кости черепах и кости оленей были найдены, что дает исследователям более четкое представление о рационе питания, найденном между Либерти и Эллис-Айленд.

В 1624 году голландцы создали меховую торговую станцию. В 1664 году появились англичане, которые переименовали некогда "Новые Нидерланды" в "Нью-Йорк". В течение следующих ста лет остров прошел через несколько названий, и в 1774 году остров был куплен Сэмюэлем Эллисом. После смерти Сэмюэля Эллиса, штат Нью-Йорк купил остров, сделав его официальной государственной собственностью.