Sholokhov lahir di kawasan Kamenskaya, Rusia, di 'tanah Bangsa Kazaki'. Ayahnya seorang pemimpin kelas menengah ke bawah, saat itu petani, pedagang hewan, dan tukang giling. Ibu Sholokhov berasal dari Ukraina dan juga seorang janda berkebangsaan Kazaki. Ibunya buta huruf namun belajar membaca-tulis untuk berhubungan dengan anaknya. Sholokhov masuk sekolah di Kargin, Moskow, Boguchar dan Veshenskaya hingga 1918. Kemudian ia bergabung di sisi revolusioner dalam Perang Saudara Rusia. Saat itu ia masih berusia 13 tahun.
Sholokhov mulai menulis pada saat berusia 17 tahun. Buku pertamanya, Tanda Lahir, terbit saat ia masih berusia 19. Pada tahun 1922 Sholokhov pindah ke Moskwa untuk bekerja sebagai wartawan, tetapi ia harus mendukung dirinya sendiri melalui kerja manual. Ia seorang buruh pelabuhan, tukang batu, dan akuntan antara 1922-1924, tetapi kadang-kadang ia turut ambil bagian di "seminari" penulis. Karya pertamanya yang dicetak berupa artikel satir berjudul Suatu Ujian (1922).
