Vers 1968, sur la commune de Bretenoux, une bande de passionnés commence à organiser quelques courses de côtes[1]. Un rallye s'organise en « course sur terre » avec le concours de l'Écurie Castelnau, autour de Michel Degain et Roland Thérond. Celui-ci prendra la présidence de l'Association Sportive Automobile Castine (ASA Castine) qui sera créée en 1980[1],[2], et re-déclarée en 1993[3].
En 1977, à l'aide d'un tractopelle et de bénévoles équipés de pelles et râteaux, les chemins sont restaurés pour réaliser le 1er rallye officiel « Rallye Tous Chemins du Quercy »[1]. Le rallye prend le nom de « Rallye Terre du Quercy » en 1980 et comprend 21 épreuves spéciales (ES) différentes, dont cinq courues simultanément[1]. En 1985, le nom du rallye est modifié en « Rallye Castine », qui comprend 130 km d'épreuves spéciales sur terre[1].
À partir de 1995, l'organisation du rallye est interrompue[1]. En 1997[4],[5], le « Rallye des trois Châteaux » voit le jour, qui consiste en une épreuve régionale sur asphalte[1].
Après 24 années d'absence[6], en 2018, l'épreuve est de nouveau inscrite au Championnat de France des rallyes, sous le nom de « Rallye Terre de Castine »[7].
En 2021, le rallye compte 130 concurrents au départ de l'épreuve, encadrés par 500 bénévoles[2].