Con ogni edificio c'è un passato. Prima della ricostituzione di Ellis Island, l'isola era un tempo occupata da tribù di nativi americani conosciuti come la tribù Algonquin, che si trovava nella regione nord-orientale del Nord America. Si diceva che la tribù dei nativi americani si accalcava sull'isola perché l'isola ospitava ostriche fresche, molluschi, pesci pinna e spigole striate, tutte fonti di approvvigionamento alimentare. In seguito l'isola fu chiamata dagli olandesi "Oyster Island". L'archeologia ha avuto origine nel 1985, quando il restauro è avvenuto a Ellis Island, quando sono state trovate ossa di anatra, ossa di tartaruga e ossa di cervo, dando ai ricercatori un'idea più chiara della dieta trovata tra Liberty e Ellis Island.

Nel 1624, gli olandesi crearono una stazione di commercio di pellicce. Nel 1664, gli inglesi arrivarono e ribattezzarono l'ex "New Netherlands" in "New York". Entro i successivi cento anni, l'isola passerà attraverso una serie di nomi e nel 1774 l'isola fu acquistata da Samuel Ellis. Dopo la morte di Samuel Ellis, lo Stato di New York acquistò l'isola rendendola ufficialmente di proprietà del governo.