Avec chaque bâtiment, il y a un passé. Avant le rétablissement d'Ellis Island, l'île était autrefois occupée par des tribus amérindiennes, connues sous le nom de tribu algonquine, qui se trouvaient dans la région nord-est de l'Amérique du Nord. On dit que la tribu amérindienne a afflué sur l'île parce qu'elle y trouvait des huîtres fraîches, des crustacés, des poissons à nageoires et du bar rayé, tous sources de nourriture. L'île a ensuite été baptisée par les Hollandais "Oyster Island". L'archéologie, dont la source remonte à 1985, lorsque la restauration a eu lieu sur Ellis Island, a permis de découvrir des os de canards, de tortues et de cerfs, ce qui a donné aux chercheurs une idée plus précise du régime alimentaire trouvé entre Liberty et Ellis Island.

En 1624, les Hollandais ont créé une station de traite des fourrures. En 1664, les Anglais sont arrivés et ont renommé l'ancienne "Nouvelle Hollande" en "New York". Au cours des cent années suivantes, l'île a connu plusieurs noms et en 1774, elle a été achetée par Samuel Ellis. Après la mort de Samuel Ellis, l'État de New York a acheté l'île, la rendant ainsi officiellement propriété du gouvernement.