Точна дата заснування села невідома, у документальних джерелах воно згадується з 1766 р. Відомий дослідник-краєзнавець Лаврентій Похилевич[1] звертає увагу на назву села:
… в самій назві поселення відчувається натяк на дещо духовне. Насправді старожили стверджують, що в урочищі, тепер відомим під назвою Паланка, зайнятому садом селянина, жили колись монахи; і в документі, даному князем Любомирським священику Івану Поторжинському на цей сад, сказано, що він лишився пустим після монахів…
Проживання в давнину на місці нинішнього села монахів не дає вичерпної відповіді про походження назви. Все базується на здогадках, гіпотезах та припущеннях. Доповнюючи Л. Похилевича, місцеві краєзнавці лише додають, що, можливо, серед ченців монастиря був священнослужитель, якого чомусь називали пастором. Існує ще й таке твердження, що спочатку на цьому місці була пасіка, яка належала ігумену Ієромонаху Йосипу. Пасіка ж пастирська існувала в першій половині XVII століття, тобто ще до заснування в цій місцевості села.
Л. Похилевич стверджує, що монахи перебували в цій місцевості ще до Руїни. Про те, що дана місцина була заселена здавна, свідчить велика кількість валів. Поблизу села збереглися залишки двох городищ та кургани скіфських часів (Шарпівське городище, Пастирське городище[2]).
Пастирське 2 січня1787 року було продане Францом Ксаверієм Любомирським князю Потьомкіну. Після смерті Потьомкіна перейшло в спадок до його небоги Катерини Миколаївни Давидової (до шлюбу Самойлової), матір'ю якої була його рідна сестра Марія Олександрівна (до шлюбу Потьомкіна). Від неї ж перейшло до Софії Левівні Бороздіної (до шлюбу Давидовій), рідній сестрі декабристаДавидова Василя Львовича, та було нею продано останньому князю Карлу Михайловському і Герониму Грудзинському. Згодом село перейшло у власність Лева Поджіо, сина декабристаЙосипа Поджіо та Марії Бороздіної.
Відомо, що у 1766 році в селі існував храм Святого великомученика Дмитрія. На 1864 рік церква Свято-Дмитрівська, дерев'яна, збудована в 1860 р. коштом поміщика Поджіо на місці старої. В 1808 році населення становило 1354 особи в 115 дворах, а в 1864 р. — 1318 осіб, 25 з яких римські католики і 18 євреїв.
За переписом 1897 року кількість мешканців зросла до 2542 осіб (1278 чоловічої статі та 1264 — жіночої), з яких 2531 — православної віри[4].
Село Пастирське прославилося виробами з так званої «димної» кераміки.
У радянський період на території села розташовувалась садиба колгоспу «Прогрес», цегельний завод (збудований 1964 р.), середня школа, 2 бібліотеки, медпункт, пологовий будинок, 4 магазини.
За мужність, проявлену на фронтах Німецько-радянської війни, 167 мешканців села нагороджені орденами і медалями. В селі встановлено 2 пам'ятника воїнам-визволителям і обеліск Слави односельчанам, що загинули в період Німецько-радянської війни.