De binnenlandse politiek werd verziekt door corruptie, hetgeen deels valt te verklaren door het gebrek aan interesse van de Spaanse vorst. De Portugese kwestie dwong Olivares uiteindelijk tot ontslag in 1643. In zijn latere jaren hield hij zich bezig met lokale politiek en het schrijven van een politiek testament, bedoeld als verdediging voor zijn vroegere beleid. Het boek kwam in opspraak bij de Inquisitie, en het is niet onwaarschijnlijk dat hij op het einde van zijn leven werd opgesloten.
Voorouders
Voorouders van Gaspar de Guzmán y Pimentel (1587-1654)
J.H. Elliott, The Count-Duke of Olivares. The Statesman in an Age of Decline, 1990, ISBN 9780300033908
Jonathan Israel, "Olivares, the Cardinal-Infante and Spain's Strategy in the Low Countries (1635-1643). The Road to Rocroi", in: R. Kagan en G. Parker (eds.), Spain, Europe and the Atlantic World. Essays in honour of John H. Elliott, 1995, p. 267-295