Saint-Rimay liegt etwa 48 Kilometer nordnordöstlich von Tours und etwa 40 Kilometer nordwestlich von Blois am Loir, der die Gemeinde im Norden und Westen begrenzt. Umgeben wird Saint-Rimay von den Nachbargemeinden Lunay im Norden, Thoré-la-Rochette im Osten und Nordosten, Houssay im Süden und Osten, Villavard im Süden, Montoire-sur-le-Loir im Westen sowie Les Roches-l’Évêque im Nordwesten.