Sudi lahir dari ayah yang beretnis Batak dan ibu yang berasal dari Jawa. Ayahnya, Abdul Azis Silalahi adalah seorang kepala desa di Tanah Jawa, Simalungun.[2] Sedangkan ibunya dari keluarga migran yang bekerja di perkebunan Deli pada masa Hindia-Belanda.[3] Sudi lulus dari Akabri pada tahun 1972. Dia sempat menjadi Pangdam Brawijaya dan mengakhiri karier militernya dengan pangkat Letnan Jenderal. Ketika Susilo Bambang Yudhoyono menjabat sebagai Menko Polkam di bawah pemerintahan Megawati Soekarnoputri, ia ditunjuk sebagai sekretarisnya. Lalu pada tahun 2004 disaat Susilo Bambang Yudhoyono menjadi presiden, ia kembali diangkat sebagai Sekretaris Kabinet. Pada periode kedua pemerintahan Susilo Bambang Yudhoyono, ia menjadi Menteri Sekretaris Negara.
Kasus Renovasi KBRI Seoul
Pada tanggal 20 Januari 2005, dengan mengatasnamakan jabatannya sebagai Seskab, Sudi Silalahi mengirim surat kepada Menteri Luar Negeri RI, dan meminta Menlu untuk merespons dan menerima presentasi dari manajemen PT Sun Hoo Engineering tentang rencana pembangunan gedung KBRI di Seoul, Korea Selatan. Surat ini kemudian disusul dengan surat kedua pada tanggal 21 Februari 2005, dengan isi yang sama, tetapi diperkuat dengan permintaan untuk 'menindaklanjuti' yang diberi penekanan dengan huruf miring. Surat ini juga melampirkan empat berkas proposal dan dua maket.[4]
Surat-surat ini kemudian bocor ke tangan wartawan, dan dimuat di berbagai surat kabar setahun kemudian. Banyak pihak, antara lain mantan presiden RI Abdurrahman Wahid, koordinator ICWTeten Masduki serta kalangan anggota DPR menganggap apa yang dilakukan Sudi ini di luar batas-batas kepatutan sebagai pejabat negara.
Untuk meredam kasus ini, Sudi melaporkan anak buahnya, Aziz Ahmadi, sebagai orang yang dianggap telah memalsukan surat-surat tersebut. Dalam perkembangan selanjutnya, Aziz diberitakan pula telah mengaku menerima imbalan atas keluarnya surat tersebut.