Auf der Insel befindet sich am östlichen Ende das heute nicht mehr genutzte Fort Andrews, das von 1904 bis zum Ende des Zweiten Weltkriegs zur Verteidigung des Hafengebiets diente. Im westlichen Teil von Paddocks Island gibt es einige Cottages in Privatbesitz sowie Campingplätze in der Nähe des Forts im Osten.[2] Saisonal verkehren Fähren zwischen Peddocks Island und Georges Island.
Seit dem frühen 17. Jahrhundert wurde die Insel vorwiegend für die Landwirtschaft genutzt, jedoch zeigte auch bald das Militär Interesse an der Insel. Während des Amerikanischen Unabhängigkeitskriegs waren über 600 Miliz-Soldaten dort stationiert und 1904 wurde im östlichen Teil das Fort Andrews errichtet, das bis zum Ende des Zweiten Weltkriegs als aktive Verteidigungsanlage des Hafens diente. Im Jahr 2008 standen noch 26 der ursprünglichen Gebäude, die jedoch aufgrund von Einsturzgefahr für die Öffentlichkeit nicht zugänglich sind.