Paul Simon dilahirkan di Newark, New Jersey. Kedua orang tuanya adalah keturunan Yahudi-Rumania. Ibunya, Belle adalah seorang guru bahasa Inggris, sedangkan ayahnya, Louis Simon seorang guru sekaligus pemimpin band. Paul ikut dibawa keluarganya pindah ke Kew Gardens Hills, di distrik Queens, New York City. Karier bermusik Paul Simon dimulai dengan bernyanyi duet bersama Art Garfunkel sewaktu mereka sama-sama bersekolah di Sekolah Menengah Atas Forest Hills. Mereka juga sekali-kali tampil bernyanyi dalam pesta dansa di sekolah. Paul dan Art sama-sama mengagumi Everly Brothers yang banyak memengaruhi album-album awal mereka. Perusahaan rekaman menyebut duo Paul Simon dan Art Garfunkel sebagai "Tom & Jerry". Pada tahun 1957, singel mereka, "Hey, Schoolgirl" yang dirilis dengan label Big Records sukses masuk tangga lagu pop di urutan ke-49.
Setelah lulus SMA, Simon berkuliah di Queens College, sedangkan Garfunkel melanjutkan ke Universitas Columbia di Manhattan. Di kampus, Simon menjadi anggota fraternitasAlpha Epsilon Pi. Walaupun sudah meraih gelar Bachelor di bidang Sastra Inggris, Paul Simon masih berhasrat menjadi bintang rock and roll. Dari tahun 1957 hingga 1964, Simon menciptakan lebih dari 30 judul lagu yang direkamnya sendiri. Dalam sejumlah sesi, Art Garfunkel diajaknya rekaman sebagai duo Tom & Jerry, dan di antaranya menghasilkan singel seperti "Our Song", "That's My Story", dan "Surrender, Please Surrender". Setelah itu, Simon juga sempat kuliah di Sekolah Hukum Brooklyn.
Sebagian besar album yang direkamnya selama 6 tahun sejak tahun 1957 berupa album solo atau rekaman bersama musisi lain, dan bukan bersama Art Garfunkel. Album-album dari periode tersebut dirilis perusahaan rekaman kecil seperti Amy, ABC-Paramount, Big, Hunt, Ember, King, Tribute, dan Madison. Paul Simon juga tidak memakai nama aslinya, melainkan nama samaran seperti Jerry Landis, Paul Kane (nama tokoh dalam film Citizen Kane karya Orson Welles), dan True Taylor. Simon cukup sukses dalam sejumlah singel bersama grup bernama Tico and the Triumphs. Lagunya yang berjudul "Motorcycle" sampai di urutan ke 99 tangga lagu Billboard tahun 1962. Tico and the Triumphs juga sempat merilis 4 buah piringan hitam 45 rpm. Tico and the Triumphs dipimpin Marty Cooper yang bertindak sebagai vokal utama, dan lebih dikenal sebagai Tico. Selain itu, Simon dan Tico juga merekam album piringan hitam dengan produser rekaman Bobby Susser yang merupakan teman masa kecil Paul Simon. Dengan nama samaran Jerry Landis, Paul Simon mencetak lagu hit "The Lone Teen Ranger" yang sampai di peringkat ke-97 tangga lagu pop.
Pertemuan Paul Simon dengan Carole King menghasilkan duo bernama The Cosine yang merekam beberapa pita demo yang tidak dirilis, namun kemudian direkam ulang dan dirilis oleh grup musik lain. Pengalaman Simon di studio rekaman membuat dirinya bisa menjadi produser rekaman bagi The Vels, Ritchie Cordell, The Fashions, Jay Walker and the Pedestrians, dan Dougie and the Dubs. Pada periode ini pula, Paul Simon mulai tertarik dengan musik genre folk-rock yang terlihat dalam lagu ciptaannya seperti "Carlos Dominguez" dan "He Was My Brother" (1963). Lagu "He Was My Brother" dipersembahkannya untuk seorang teman dan mantan teman sekelas bernama Andrew Goodman yang terbunuh semasa bekerja untuk proyek Freedom Summer di Mississippi tahun 1964. Pada pertengahan tahun 1960-an, Paul Simon tinggal di Inggris, dan menulis sejumlah lagu bersama Bruce Woodley untuk grup pop Australia bernama The Seekers. Di antara lagu-lagu yang diciptakannya bersama Bruce Woodley adalah "I Wish You Could Be Here," "Cloudy," and "Red Rubber Ball". Walaupun demikian, nama Woodley tidak dicantumkan sebagai pencipta lagu "Cloudy" dalam album Parsley, Sage, Rosemary & Thyme. Lagu "Red Rubber Ball" sampai di urutan kedua tangga lagu AS sebagai lagu yang dibawakan grup The Cyrkle dari Amerika Serikat. Simon juga menyumbangkan sebuah lagu, "Someday One Day" untuk album The Seekers yang dirilis bulan Maret 1966.
^Lorentzen, Amy, "Simon campaigns in Iowa for Dodd," artikel berita Associated Press yang diangkat harian The Advocate dari Stamford, Connecticut. Kalimat "Simon, who lives in New Canaan" ditambahkan oleh editor The Advocate, 7 Juli 2007
