1966 trat sie in den Dienst der Regierung Johnson und war bis 1968 Stellvertretende Assistentin des Gesundheits-, Bildungs- und Wohlfahrtsministers für Programmkoordination(Deputy Assistant US Secretary of Health, Education and Welfare), daraufhin dort bis 1969 Assistent Secretary für Planung und Evaluation und damit eine enge Mitarbeiterin der damaligen Minister John W. Gardner und Wilbur J. Cohen. Im Anschluss kehrte sie als Forschungswissenschaftlerin an die Brookings Institution zurück. 1973 wurde sie zum Mitglied der American Academy of Arts and Sciences gewählt.
Nach einer einjährigen Tätigkeit als Stellvertretende Direktorin des Office of Management and Budget von 1993 bis 1994, wurde sie am 17. Oktober 1994 von US-PräsidentBill Clinton als Nachfolgerin von Leon Panetta, der Stabschef des Weißen Hauses geworden war, zur Direktorin des Office of Management and Budget berufen. Sie war damit nicht nur Mitglied im Kabinett Clinton, sondern zugleich auch die erste und bisher einzige weibliche Leiterin dieses Executive Office des US-Präsidenten.
Am 13. September 1996 folgte ihr Franklin Raines als Direktor des OMB. Sie selbst wurde daraufhin Vizevorsitzende des Federal Reserve System und bekleidete dieses Amt bis zum 16. Juli 1999. Zugleich war sie zeitweise von 1998 bis 2001 Vorsitzende der District of Columbia Financial Control Board.
1999 wurde sie zunächst Senior Fellow für Studien von Wirtschaftsprogrammen der Brookings Institution und war dort seit Januar 2001 Direktor für Forschungen im Großraum Washington, D.C. Des Weiteren war Alice Rivlin seit September 2003 Gastprofessorin für öffentliche politische Institutionen an der Georgetown University.
Zuletzt war sie auch Vorstandsmitglied der NYSE Euronext und wurde außerdem Anfang 2010 von Präsident Barack Obama zum Mitglied der Nationalen Kommission für die Zuständigkeit und Reform von Steuern (National Commission on Fiscal Responsibility and Reform) berufen.