हर इमारत के साथ एक अतीत है। एलिस द्वीप की फिर से स्थापना से पहले द्वीप एक बार मूल निवासी अमेरिकी एल्गोक्विन जनजाति जो उत्तरी अमेरिका के पूर्वोत्तर क्षेत्र में स्थित था के रूप में जाना जाता जनजातियों द्वारा कब्जा कर लिया गया था । यह कहा गया था कि मूल निवासी अमेरिकी जनजाति द्वीप के लिए आते है क्योंकि द्वीप ताजा कस्तूरी, शंख, फिन मछली और धारीदार बास के लिए घर था सभी खाद्य आपूर्ति का एक स्रोत । बाद में इस द्वीप को डच, ' सीप द्वीप ' ने नाम दिया । पुरातत्व १९८५ में sourced जब बहाली एलिस द्वीप पर हुई है कि बतख हड्डियों, कछुए की हड्डियों और हिरण की हड्डियों शोधकर्ताओं लिबर्टी और एलिस द्वीप के बीच पाया आहार का एक स्पष्ट विचार दे पाया गया ।

1624 में, डच ने एक फर ट्रेडिंग स्टेशन बनाया। 1664 में, अंग्रेजी साथ आई और एक बार 'न्यू नीदरलैंड' का नाम बदलकर 'न्यूयॉर्क' कर दिया। अगले १०० साल के भीतर, द्वीप कई नामों से गुजरेगा और 1774 में द्वीप को सैमुअल एलिस द्वारा खरीदा गया था। सैमुअल एलिस की मौत के बाद, न्यूयॉर्क राज्य ने इस द्वीप को खरीदा जिससे यह आधिकारिक तौर पर सरकार का स्वामित्व था ।