Rinaldo Conti tillhörde samma släkt, grevarna av Segni, som påvarna Innocentius III och Gregorius IX. Han gjordes till kardinaldiakon 1227, av sin farbror Gregorius, och fyra år senare till kardinalbiskop av Ostia. Gregorius överlämnade också vid sin död franciskanorden, där han fick 80 goda vänner. Vid Innocentius IV:s död, i Neapel den 7 december1254, blev den åldrade kardinal Conti enhälligt vald till hans efterträdare. Han antog då namnet Alexander IV.
Matthew Paris har beskrivit Alexander IV som välvillig och religiös men lätt att förleda med smicker. Det fanns förvisso de kardinaler som försökte övertala påven att fortsätta företrädarens politik mot kejsar Fredrik II av Tysk-romerska riket, inkarnerad i sonsonen Konradin i Tyskland och sonen Manfred i Apulien; Fredrik II hade bannlysts och förklarats avsatt vid första konciliet i Lyon1245. Catholic Encyclopedia beskriver Alexanders politiska ställningstagande som att "med hela kullen av Hohenstuaferna fortsatte han Innocentius tveksamma politik att tillkalla de franska och engelska satarna för att slå ner de tyska djävlarna".
Den 25 mars1255 kastade han bannbullan på Manfred, och några få dagar senare undertecknade han ett fördrag med envoyéer sända av Henrik III av England genom vilket han överförde vasallstaten Sicilien till pris Edmund Krokrygg, kungens yngre son. I kampen om tyska kronan som följde frånfället av Vilhelm av Holland1256 stödde påven Richard av Cornwall mot Alfonso av Kastilien. Hans stöd i detta ledde till förbittring bland prästerskapet och folket mot Heliga stolen. Manfreds makt växte för varje dag. Han kröntes till kung i Palermo efter att ha spridit ett falskt rykte att Konradin dött, och blev ledare för ghibellinerna i Italien. Alexander fick leva länge nog att bevittna dennes seger i Montaperti1260; han tvingades lämna Rom och slog sig ner i Viterbo. I norra Italien var han mer framgångsrik, för hans korsriddare slog slutligen ner Ezzelino. I Rom, som styrdes av magistrater som ingått allians med Manfred, jäste missnöjet.
Samtidigt gjorde påven ansträngningar att ena de kristna mot tartarerinvasionerna. Korstågsandan var dock försvunnen. Som påve fortsatte han visa franciskanorden välvilja; ett av hans första åtaganden var att helgonförklara Klara av Assisi. I ett brev förklarar han att stigmatisering är ett faktum; Bonaventura ger upplysning att påven i en predikan sagt att han bevittnat sådana. Under de våldsamma strider som utbröt vid universitetet i Paris beskyddade han munkarna. 1256 godkände han augustinorden.
