Il 21 febbraio 1966 Casaroli morì e Gargiulo gli succedette alla guida della chiesa gaetana, dopo quasi vent'anni di attività come coadiutore.
Per motivi di salute, il 7 settembre 1970 gli fu affiancato come vescovo ausiliare Daniele Ferrari, vescovo titolare di Velia.
Il 26 gennaio 1973 il papa accettò le sue dimissioni per sopraggiunto aggravamento delle condizioni di salute. Continuò a reggere la diocesi come amministratore apostolico fino all'arrivo del successore Luigi Maria Carli, avvenuto il 7 aprile.
Morte e sepoltura
Si ritirò nei locali della Parrocchia di San Paolo Apostolo di Gaeta, la cui erezione e costruzione fu da lui fortemente voluta. Qui morì l'11 maggio dell'anno successivo, a 69 anni. La salma rimase esposta nella chiesa di San Paolo fino al 13 maggio, quando fu trasportata in cattedrale per le solenni esequie. Fu poi trasferita nel cimitero comunale di Torre Annunziata, nella tomba di famiglia. In occasione del decennale della morte, il 19 maggio 1984 i resti mortali tornarono a Gaeta e furono tumulati in San Paolo, sulla parete in fondo a sinistra. Sulla tomba furono apposte una lapide marmorea e una lastra di bronzo con i simboli del suo stemma episcopale e il suo motto.[1]