Zusammen mit seinem zwei ältesten Söhnen begleitete Robert V. seinen Lehnsherrn, Graf Philipp von Flandern, im Jahr 1177 erstmals zu einer bewaffneten Pilgerfahrt in das heilige Land. Dort versuchte der Graf eine Ehe zwischen den Béthune-Söhnen mit den zwei Schwestern des Königs Balduin IV. von Jerusalem, Sibylle und Isabella, zu arrangieren, was allerdings am Einspruch der Barone um Balduin von Ibelin scheiterte.