Agen-d’Aveyron liegt etwa acht Kilometer ostnordöstlich von Rodez am Aveyron. Umgeben wird Agen-d’Aveyron von den Nachbargemeinden La Loubière im Norden und Nordwesten, Montrozier im Osten und Nordosten, Le Vibal im Süden und Südosten sowie Sainte-Radegonde im Westen und Südwesten.