Родился в 1728 году в Далмени, Уэст-Лотиан, Шотландия[1]. Младший сын Джеймса Примроуза, 2-го графа Розбери (1691—1765), и его жены Мэри Кэмпбелл (? — 1756). Его отец «был заключен в тюрьму за бунт и долги и значительно истощил свое наследство. Его семейные поместья были переданы в руки попечителей»[2].
Вначале Нил Примроуз был торговцем в Лондоне до смерти своего отца 26 ноября1755 года, когда он стал 3-м графом Розбери (Пэрство Шотландии), 3-м виконтом Розбери (Пэрство Шотландии), 3-м виконтом Инверкитинга (Пэрство Шотландии), 3-м лордом Примроузом и Далмени (Пэрство Шотландии), 7-м баронетом Примроузом из Каррингтона. Унаследовав графство, он отправился в 18-месячное гран-тур, посетив Рим и Венецию, где провел много времени с архитектором Робертом Адамом, которого он знал дома[2].
По возвращении из Европы он работал над освобождением поместья Розбери от долгов, реорганизацией его сельскохозяйственной практики и посадкой деревьев[2] . Он был назначен пэром-представителем Шотландии Палате лордов Великобритании в 1768, 1774 и 1780 годах[1].
Граф Розбери с семьей возле замка Барнбугл, картина Александра Несмита, 1788 год.
19 мая1764 года он женился первым браком на наследнице Сьюзен Уорд (? — 20 августа 1771), дочери сэра Эдварда Уорда, 5-го баронета. Первый брак был бездетным. Сьюзен умерла, оставив мужу свое поместье в Норфолке[1].
17 июля1775 года он женился вторым браком на Мэри Винсент (? — 9 мая 1823)[1], дочери сэра Фрэнсиса Винсента, 7-го баронета, и Мэри Говард (дочери генерал-лейтенанта достопочтенного Томаса Говарда, который занимал пост губернатора Бервика, и Мэри Мортон, младшая дочь Уильяма Мортона, епископа Мита). До его смерти в 1814 году они жили в замке Барнбугл и имели пятерых детей, в том числе[1]:
Леди Доротея Арабелла Примроуз (1779 — 16 ноября 1825), в 1801 году она вышла замуж за Уильяма Херви из Бодвелл-холла, Карнавон, сына Томаса Херви, эсквайра[6][7].
Достопочтенный Фрэнсис Уорд Примроуз (13 февраля 1785 — 26 мая 1860), который в 1829 году женился на Перси Гор, дочери полковника Ральфа Гора из Барроумаунта, графство Килкенни[1].
Лорд Розбери скончался в Далмени 25 марта1814 года, и его титулы унаследовал его старший сын Арчибальд.