Op 19 oktober 1963 trad Macmillan af na dat het vertrouwen in zijn gezag was aangetast door allerlei schandalen in de loop der jaren. Hij werd opgevold als premier en partijleider van de Conservative Party door minister van Buitenlandse Zaken Alec Douglas-Home.
Hij werd opgevolgd door minister van Buitenlandse ZakenAlec Douglas-Home. De parlementsverkiezingen van 1964 werden verloren door de Conservative Party - aangevoerd door Douglas-Home - en gewonnen door de Labour Party van Harold Wilson. Het verlies bleef echter beperkt. Het verschil tussen de Conservative Party en de Labour Party bedroeg uiteindelijk maar dertien zetels en dit was grotendeels dankzij premier Douglas-Home, die, ondanks zijn aristocratische voorkomen, capabel was overgekomen tijdens zijn korte premierschap.
Onder leiding van Macmillan wonnen de conservatieven de verkiezingen van 1959, maar daarna na de populariteit van de conservatieve regering zienderogen af. In juli 1962 vond, in een poging om haar populariteit te herwinnen, een aantal belangrijke wijzigingen in het kabinet plaats. Deze politieke ingreep werd al snel bekend als de Night of the Long Knives ("De Nacht van de Lange Messen"[1]). De populariteit van het kabinet bereikte een dieptepunt als gevolg van de zogenaamde Profumo-affaire. John Profumo, minister van Oorlog, had een relatie met callgirlChristine Keeler, die ook een relatie onderhield met de Sovjet-Russischemarine-attachéJevgeni Ivanov. Toen het schandaal aan het licht kwam, trad Profumo af, maar het kwaad was al geschied.