Виріс у Сталінграді, де закінчив залізничну школу. Навчався у школі № 5 (колишній чоловічій гімназії). Тут, на підмостках шкільної сцени, й помічено ознаки його акторської обдарованості. Був актором допоміжного складу Сталінградського драматичного театру. Навчався у Сталінградському медичному інституті. Рано залишився без матері. У 1944 році виїхав до Сталінграду його батько, син перебрався до нього. Деякий час вони жили разом, але батько незабаром помер.
У 1948 році вступив до московського Всесоюзного державного інституту кінематографії (майстерня Сергія Герасимова і Тамари Макарової), який закінчив у 1953 році. Московський зоряний період Рибникова, його одруження з актрисою, красунею Аллою Ларіоновою, їхню взаємну любов і коло спілкування на рівні світових зірок досить повно описано в безлічі столичних видань. Під час навчання дар майстерно наслідувати відомих людей і тяга до розіграшів одного разу мало не обійшлися Рибникову дорого — про цю історію розповів згодом у своєму фільмі «Яка чудова гра» (1995) Петро Тодоровський.
Справжня всесоюзна слава прийшла до артиста після стрічок «Весна на Зарічній вулиці» (1956), котру поставили Ф. Миронер і М. Хуцієв, і «Висота» (1957) режисера Олександра Зархі. У 1958 році Микола Рибников зафільмувався в картині Е. Рязанова«Дівчина без адреси» — хоча публіка гаряче прийняла фільм — він зайняв друге місце в прокаті, — критика (як і сам режисер) визнала його не дуже вдалим. Утім, у 1961 році актор погодився фільмуватися в комедії, коли режисер Юрій Чулюкін запросив його на головну роль лісоруба Іллі Ковригіна у фільмі «Дівчата». Ця картина мала величезний глядацький успіх і до цього дня залишається в числі найкращих комедій радянського кіно. Надалі Миколу Рибникова багато фільмували, на його ліку такі фільми, як «Їм підкоряється небо», «Війна і мир» (де він виконав роль Дениса Давидова), «Звільнення», «Хокеїсти». Великий успіх випав на долю картини «Сьоме небо» (1972), в якій Микола Рибников знявся зі своєю дружиною Аллою Ларіоновою.
Наприкінці 70-х і в 80-х роках актора запрошували фільмуватися чимраз рідше і здебільшого в епізодичних ролях. Найбільш запам'яталася роль Рибникова цього періоду — Кіндрат Петрович у стрічці «Вийти заміж за капітана» (1985).
Дочка Олена (удочерена, вона дочка актора І. Ф. Переверзєва, з яким Алла жила у фактичному шлюбі до весілля з Рибниковим). Микола Рибников удочерив дівчинку і все життя вважав за рідну доньку. Олена тепер на пенсії, до цього — працювала монтажером на ТБ.
