Nato nel Bronx, è il primogenito maschio di Mick Kramer, un soldato, e Doris Schwartz, un'infermiera e ha tre sorelle più piccole, Annabelle, Suzy e Amy. Nel corso della sua adolescenza ha frequentato la Thornton Donovan School.
La sua avventura musicale iniziò intorno ai 13 anni, quando ebbe un incidente in bici. La vendette e si comprò le prime parti di un set da batteria.
Formò una band, gli Strawberry Ripple e uno dei nomi scartati fu proprio Aerosmith. Alla Roosevelt High-School incontrò Steven Tyler e Ray Tabano. Entrò subito come batterista al posto di Tyler, che poté dedicarsi solo al canto.
È stato lui a dare il nome agli Aerosmith nel 1973. Il nome lo scrisse per la prima volta quando era ancora a scuola, sul suo taccuino. Quando la band dovette scegliere un nome, si ricordò dell'appunto e lo propose. In un'intervista gli si chiese il perché di quel nome e lui rispose: "Aerosmith è dedicato ad una mia compagna alla high-school. Quel nome lo scrissi praticamente su tutti i miei libri scolastici".
Ha suonato in tutti gli album della band. Uno dei suoi soprannomi è Kram-Dog.
È stato fidanzato con Patty Bourdon, madre di Rob Bourdon, batterista del gruppo rock Linkin Park. È stato lui a regalargli il primo pedale per la batteria, in occasione del suo compleanno.
Ha suonato nell'album Il mondo che vorrei di Vasco Rossi nelle tracce 6 e 10 ("Cosa importa a me" e "Non sopporto").