Alla morte di Niceforo (1297), Filippo assunse il titolo di Despota della Romania, rivendicando l'Epiro, l'Etolia, l'Acarnania e la Valacchia; però la moglie di Niceforo, Anna Cantacuzena, fece proclamare Tommaso despota di Epiro e ne assunse la reggenza.
Nel 1306Filippo I di Savoia-Acaia e Isabella di Villehardouin, Principe e Principessa d'Acaia, furono convocati a Napoli alla corte di Carlo, il quale in questa occasione accusò Filippo di slealtà per non aver aiutato Carlo nella campagna contro l'Epiro; e, poiché Isabella non aveva chiesto il permesso di Carlo, di cui era vassalla, per sposare Filippo di Savoia, Carlo privò i due del loro dominio e conferì il principato d'Acaia a suo figlio Filippo di Taranto (5 maggio 1306). Filippo si recò per la prima e ultima volta in visita al suo principato poco dopo, accettando l'omaggio dei suoi vassalli a Glarentza e conducendo senza successo una campagna contro il Despotato d'Epiro. Lasciò poi Guido II, Duca di Atene, come suo balivo in Acaia. L'11 maggio 1307 Filippo di Savoia rinunciò alle sue pretese sull'Acaia in cambio della Contea di Alba.
Imperatore latino
Nel 1309 ripudiò Thamar Angelina Comnena Ducena con l'accusa, probabilmente fabbricata, di adulterio, e fu quindi libero di prendere parte ad un complesso insieme di matrimoni. Caterina II di Valois-Curtenay, Imperatrice latina titolare, era stata promessa in sposa a Ugo V di Borgogna, Re titolare di Tessalonica. Il loro fidanzamento fu sciolto e Filippo sposò Caterina il 29 luglio 1313 a Fontainebleau; in cambio, le terre materne della sposa, il Courtenay, e altre sue proprietà sul continente furono cedute alla sorella di Ugo, Giovanna, che sposò il fratellastro di Caterina, Filippo di Valois, e Ugo V fu fidanzato a Giovanna, poi contessa di Borgogna e Artois. Filippo d'Angiò cedette l'Acaia, sulla quale mantenne la signoria, a Matilde di Hainault, che sposò il fratello di Ugo, Luigi di Borgogna, lo stesso giorno del matrimonio di Filippo e Caterina. La donazione di Filippo a Matilde era molto limitata, in quanto in caso di morte senza eredi, il principato sarebbe tornato alla casa di Borgogna, mentre Matilde ne avrebbe goduto l'usufrutto a vita, senza potersi risposare senza il permesso del suo signore. A completare la separazione tra le rivendicazioni d'Occidente da quelle d'Oriente, Ugo cedette i diritti su Tessalonica a Luigi, il quale a sua volta rinunciò ai propri diritti sull'eredità dei suoi genitori in favore di Ugo. Infine, il figlio maggiore di Filippo, Carlo, ruppe il proprio fidanzamento con Matilde di Hainault e si fidanzò con Giovanna di Valois, sorella minore di Caterina, ricevendo dal proprio padre il titolo di Despota di Romania e le rivendicazioni connesse.
La morte senza eredi di Luigi di Borgogna nel 1316 scombinò i piani degli Angioini per l'Acaia. Matilda fu invitata a sposare Giovanni di Gravina, fratello minore di Filippo, dal re Roberto d'Angiò; quando rifiutò, Matilda fu rapita e portata a Napoli e, dopo lunghi tentativi di persuasione e minacce, fu obbligata a sposarsi nel 1318, mentre nel frattembo Federico Trogisio fu inviato in Acaia come nuovo balivo. Nel 1320, Oddone IV di Borgogna accettò, dopo aver protestato a lungo, di vendere i propri diritti sull'Acaia e Tessalonica al conte Luigi di Clermont per 40.000 lire, ma Filippo, finanziato da Filippo V di Francia, ricomprò questi diritti per la stessa somma nel 1321.
Nel frattempo la recalcitrante Matilde di Hainault fu portata alla corte papale di Avignone, dove rivelò di aver sposato in segreto il cavaliere burgundo Ugo de La Palice: il suo matrimonio con Giovanni fu annullato in quanto non consumato, ma il matrimonio segreto permise agli Angioini di confiscarle l'Acaia e di concederlo a Giovanni di Gravina, in cambio di 40.000 lire, il prezzo pagato dal Duca di Borgogna. Matilda fu tenuta prigioniera fino alla morte, per evitare che avanzasse pretese sull'Acaia.
Filippo continuò a progettare il recupero dell'Impero latino, alleandosi nel 1318 col nipote Carlo Roberto d'Angiò, re di Ungheria, ma senza successo. Nel 1330 l'ultimo dei suoi figli dal primo matrimonio morì, e il titolo di Despota di Romania tornò nelle sue mani. Tutti i suoi titoli e tutti i suoi diritti passarono al figlio maggiore di secondo letto, Roberto di Taranto, alla sua morte, avvenuta due anni dopo.
Famiglia
I figli avuti dal suo matrimonio con Tamara Angela Comnena Ducena (ripudiata nel 1309) furono: