Gaffelgränd anlades i samband med att Skeppsbrons bebyggelse började uppföras efter 1630-talet. Tidigare fanns här två mindre parallella gränder, Pelikansgränd och Lilla Hoparegränd, som slutade vid östra stadsmuren. Dessa förlängdes inte ner mot Skeppsbron utan man sammanförde dem till Gaffelgränd öster om kvarteret Callisto.
Namnets bakgrund är oklar. Både Gaffelgränden och gafwel gränden förekommer på kartor från 1720-talet. Gatunamnet kan härröra från gränden vid gaveln. Med gaveln avses då de nya byggnaderna vid Skeppsbron som restes med höga gavlar på båda sidor om gränden. En annan förklaring till namnet kan vara att gränden delar sig likt en äldre typ av gaffel med två spetsar i Lilla Hoparegränd respektive Pelikansgränd och att Gaffelgränd är skaftet.
I två av Fredmans epistlar skildrar Carl Michael Bellman livet på krogen Terra Nova som fanns i hörnet Gaffelgränd / Lilla Hoparegränd i samma byggnad som Stockholms sjömanshus. Epistlarna nr. 5 Til the trogne Bröder på Terra Nova i Gaffelgränden och nr. 18, Til Gubbarna på Terra Nova i Gaffelgränden vid Skeppsbron.
Käre bröder, så låtom oss supa i frid,
I denna här världenes ondsko och strid:
Lät oss streta,
Arbeta,
Stampa,
Trampa,
Drufvorna prässa, ty än är det tid.
The Ölepheser ä stridbare män,
The Gutårinter hofvera, ja men,
Blifva besatta
Och skratta
Och supa
Och stupa
Emellan Buteljerna sen.