12. yüzyılda Latinler'in ve 15. yüzyılda Ruslar'ın istilasına uğrayan ada, İstanbul'un fethinden sonrauzun süre boş kalır. 1859'da Ada'yı satın alan İngiltere'nin İstanbul sefiri Sir Henry Bulwer, sahilde burçları olan kaleye benzer bir bina ile şato büyüklüğünde bir köşk inşa ettirir. 1872'de adayı satın alan Mısır Hidivi İsmal Paşa, bir süresonra adayı terk eder.