Debiutował u boku Chrisa Powella w zespole r'n'b Blue Flames[2]. To właśnie z tą grupą dokonał swojej pierwszej sesji nagraniowej, która miała miejsce 21 marca 1952[2]. Rok później, jako trębacz big-banduLionela Hamptona wyruszył w trasę koncertową po Europie[2]. W sekcji dętej tego zespołu towarzyszyli mu inni wielcy muzycy jazzowi: Quincy Jones i Art Farmer[2]. To właśnie w tym okresie powstała znaczna część nagrań Browna[2]. Od razu po zagranym koncercie Clifford wychodził oknem ze swojego pokoju hotelowego i kierował się do studia nagraniowego, w którym spędzał całe godziny[2] (Hampton podczas tras koncertowych zabraniał członkom swojego zespołu nagrywania z innymi artystami, mimo tego zakazu wielu z jego sidemanów chodziło na sesje nagraniowe poza zespołem[2]). W 1954 wraz z Maxem Roachem założył kwintet, z którym nagrał swoje najważniejsze albumy i utwory[2].