Arkin började som sångare i en folkmusikgrupp och blev sedan medlem i The Second City Satirical Group of Chicago. Redan vid sin Broadwaydebut 1963 i Enter Laughing gjorde han stor succé.
Alan Arkin var först och främst komiker men visade även prov på dramatisk talang, bland annat som döv i Hjärtat jagar allena. 1968 spelade han kommissarie Clouseau i den tredje filmen om denne, då Peter Sellers avstod från att medverka.