Karp è cresciuto nell'Upper West Side di Manhattan, figlio di Barbara Ackerman e Michael Karp. Dal terzo anno di età ha frequentato la Calhoun School, dove sua madre insegna scienze; in seguito ha studiato presso la Bronx High School of Science per un anno, prima di lasciarla all'età di 15 anni per ricevere un'istruzione parentale.[2] A quattordici anni Karp ha iniziato a fare tirocinio con il produttore Fred Seibert, e in seguito ha continuato a lavorare come consulente software per UrbanBaby, un forum online sull'educazione dei figli. Nel 2006 Karp ha abbandonato UrbanBaby e ha iniziato a lavorare su Tumblr. Il sito web è stato lanciato all'inizio del 2007.[2][5]