Воспитанник тренера Юрия Крылова, играл за детскую сборную Украины. В 1999 переехал в Россию, стал играть за молодёжный клуб «Элемаш» Электросталь. Выступал за юношескую сборную России. Серебряный призёр чемпионата мира 2002 среди юниоров.
В 2002 году заключил договор с хоккейным клубом ЦСКА под руководством Виктора Тихонова. Выступая за ЦСКА, набрал 28 очков (14+14) за 64 матча. На драфте НХЛ 2003 года был выбран командой «Коламбус Блю Джекетс» под общим 4-м номером. 15 августа 2003 года Жердев заключил трёхлетний контракт с американской командой на общую сумму 7,7 миллиона долларов. Изначально объявлялось, что хоккеист будет выступать за ЦСКА до конца 2003 года и переедет в США только в 2004 году. Однако в сентябре 2003 года он исчез из тренировочного центра ЦСКА и через несколько дней появился на базе «Коламбус Блю Джекетс» в Коламбусе. ЦСКА воспротивился переходу игрока, объявив, что Жердев находится на действительной военной службе и не имеет права покидать расположения части. Виктор Тихонов пригрозил Николаю уголовным преследованием. ЦСКА подал иск в международный спортивный суд. В марте 2004 года тот вынес решение в пользу хоккеиста.
В 2006 году Жердев снова вступил в спор с руководством клуба, на сей раз «Блю Джекетс». Хоккеист требовал увеличить ему зарплату, а руководство клуба отказывалось, ссылаясь на то, что последний сезон Николая был неудачным. В итоге стороны сошлись на компромиссной сумме 7,5 млн долларов за три года. В 2008 году Жердев был продан команде «Нью-Йорк Рейнджерс». В 2010 году подписал контракт с «Филадельфией Флайерз» на один год. Зарплата игрока составила $2 млн. В 2011 году вернулся в Россию, где подписал контракт с клубом КХЛ «Атлант (Московская область)».
Летом 2013 года Жердев был выставлен на «драфт расширения», с которого он выбран не был. В конце лета подписал однолетний контракт с чешским клубом «Лев» Прага[1], в котором он провел часть предсезонки[2], а также принял участие в нескольких контрольных играх. На «Кубке Праги» забил своему бывшему клубу «Ак Барсу»[3], а позже с командой выиграл и весь турнир[4]. Однако в конце августа Жердев обратился к руководству команды с просьбой о расторжении контракта[5]. Проведя некоторое время без клуба, 24 сентября Жердев подписал контракт до конца сезона с московским «Спартаком»[6]. 15 ноября 2013 клуб расторг контракт с игроком. Итого, за сезон 2013/14 Жердев выступал за «Ак Барс» в течение 105 дней, за «Лев» — 38, за «Спартак» — 51, а за «Северсталь» — 69 дней[7].
14 июля 2014 Николай Жердев после двухмесячных переговоров с московским «Динамо» заключил годовой контракт[8]. Перед сезоном 2015/16 перешёл в ХК Сочи, за который сыграл 26 матчей в регулярном сезоне КХЛ (7 очков). С декабря 2015 года выступал за нижегородское «Торпедо». Таким образом, Николай успел поиграть уже в 7 клубах КХЛ и 3 клубах НХЛ.