مع كل مبنى هناك ماض. قبل إعادة تأسيس جزيرة إليس كانت الجزيرة محتلة ذات مرة من قبل القبائل الأميركية الأصلية المعروفة باسم قبيلة ألغونكوين التي كانت تقع في المنطقة الشمالية الشرقية من أمريكا الشمالية. وقيل إن قبيلة الأمريكيين الأصليين توافدت إلى الجزيرة لأن الجزيرة كانت موطنا للمحار الطازج والمحار والأسماك الزعنفة والباس المخطط، وكلها مصدر للإمدادات الغذائية. أعطيت الجزيرة في وقت لاحق اسم من قبل الهولنديين، "جزيرة المحار". مصدر الآثار في عام 1985 عندما حدثت عملية الترميم في جزيرة إليس التي تم العثور على عظام البط وعظام السلاحف وعظام الغزلان مما يعطي الباحثين فكرة أوضح عن النظام الغذائي الذي تم العثور عليه بين ليبرتي وجزيرة إليس.

في عام 1624، أنشأ الهولنديون محطة لتجارة الفراء. في عام 1664، جاء الإنجليز وأعادوا تسمية "هولندا الجديدة" ذات يوم إلى "نيويورك". في غضون مائة سنة القادمة، كانت الجزيرة تمر بعدد من الأسماء وفي عام 1774 تم شراء الجزيرة من قبل صموئيل إليس. بعد وفاة صموئيل إليس، اشترت ولاية نيويورك الجزيرة مما يجعلها مملوكة للحكومة رسميا.