Kotschubei entstammte einer kosakischenAdelsfamilie und wurde auf dem Landsitz seines Vaters in Dykanka geboren. Er war zunächst im diplomatischen Dienst an den russischen Botschaften in London und Paris und später im Osmanischen Reich tätig. Nach der Reform der zaristischen Regierung durch Alexander I. hatte er 1801–1802 das Amt des Außenministers und anschließend 1802–1807 und erneut 1819–1825 das Amt des Innenministers inne. 1834 wurde er zum Kanzler (Канцлер) des Russischen Reichs ernannt, starb jedoch kurze Zeit später.
Die komponierende Fürstin Jelisaweta Kotschubei war eine Schwiegertochter Kotschubeis.