Με κάθε κτίριο υπάρχει παρελθόν. Πριν από την αποκατάσταση του νησιού Ellis το νησί καταλήφθηκε μιά φορά από τις φυλές αμερικανών ιθαγενών γνωστών ως φυλή Algonquin που βρέθηκε στη βορειοανατολική περιοχή της Βόρειας Αμερικής. Ειπώθηκε ότι η φυλή Native American συρρέουν στο νησί, επειδή το νησί ήταν το σπίτι για φρέσκα στρείδια, οστρακοειδή, ψάρια πτερυγίων και ριγέ μπάσο όλα μια πηγή εφοδιασμού τροφίμων. Το νησί έλαβε αργότερα το όνομα από τους Ολλανδούς, «Νησί των Στρειδιών». Η αρχαιολογία που προέρχεται το 1985 όταν εμφανίστηκε η αποκατάσταση στο νησί Ellis ότι τα κόκκαλα παπιών, τα κόκκαλα χελωνών και τα κόκκαλα ελαφιών βρέθηκαν δίνοντας στους ερευνητές μια σαφέστερη ιδέα της διατροφής που βρίσκεται μεταξύ της ελευθερίας και του νησιού Ellis.

Το 1624, οι Ολλανδοί δημιούργησαν ένα σταθμό εμπορίας γούνας. Το 1664, οι Άγγλοι ήρθαν και μετονομάστηκαν σε «Νέα Ολλανδία» σε «Νέα Υόρκη». Μέσα στα επόμενα εκατό χρόνια, το νησί θα περάσει από μια σειρά από ονόματα και το 1774 το νησί αγοράστηκε από τον Samuel Ellis. Μετά το θάνατο του Σάμιουελ Έλις, η Πολιτεία της Νέας Υόρκης αγόρασε το νησί καθιστώντας το επίσημα κυβερνητικό.