Mayoritas penduduk Desa Pandan adalah Suku Batak Toba. Selain itu, terdapat juga etnis Batak Karo dan dan Batak Pakpak. Estimasi jumlah etnis Batak Karo di Desa Pandan adalah sekitar 20% dari total populasi desa, sedangkan estimasi jumlah etnis Batak Pakpak adalah sekitar 12% dari total populasi desa. Marga dari etnis Batak Karo yang berada di Desa Pandan mayoritasnya adalah: Sembiring dan Tarigan. Sedang marga-marga dari etnis Batak Pakpak yang berada di Desa Pandan mayoritasnya adalah: Berutu, Banurea, dan Capah.
Desa Pandan dan Desa Sipoltong juga merupakan perbatasan wilayah yang dihuni oleh etnis Karo di wilayah Kabupaten Dairi, dimana kedua desa tersebut masih dianggap wilayah persebaran etnis Karo, meskipun dari segi populasi bukan etnis mayoritas. Di Sebelah utara kedua desa tersebut, semakin banyak ditemukan desa yang merupakan pemukiman etnis Karo, sedangkan di bagian selatan sudah merupakan pemukiman etnis Batak Toba dan Pakpak saja.