Mit jedem Gebäude gibt es eine Vergangenheit. Vor der Wiedererrichtung von Ellis Island war die Insel einst von Indianerstämmen besetzt, die als Algonquin-Stamm bekannt waren und sich im Nordosten Nordamerikas befanden. Es wurde gesagt, dass der Stamm der Ureinwohner Amerikas auf die Insel strömte, weil die Insel frische Austern, Schalentiere, Flossenfisch und gestreiften Barsch beherbergte, die alle eine Nahrungsquelle darstellten. Die Insel erhielt später von den Holländern den Namen "Austerninsel". Die Archäologie stieß 1985 bei der Restaurierung auf Ellis Island darauf, dass Enten-, Schildkröten- und Hirschknochen gefunden wurden, was den Forschern eine klarere Vorstellung von der Ernährung gab, die zwischen Liberty und Ellis Island gefunden wurde.

1624 gründeten die Niederländer eine Pelzhandelsstation. Im Jahr 1664 kamen die Engländer hinzu und benannten die einst "Neuen Niederlande" in "New York" um. Innerhalb der nächsten einhundert Jahre würde die Insel eine Reihe von Namen durchlaufen, und 1774 wurde die Insel von Samuel Ellis gekauft. Nach dem Tod von Samuel Ellis kaufte der Staat New York die Insel und machte sie damit offiziell zum Staatseigentum.