Кладовище засновано в грудні 1920 року на території, що прилягала до 5-го бастіону, де під час оборони Севастополя 1854—1855 років знаходився люнет Бєлкіна. Спочатку мало назву «Кладовище комунарів і жертв білого терору» і своєю назвою було зобов'язане сорока дев'яти комунарам — учасникам підпілля, розстріляним білогвардійцями в 1919—1920 роках.
В 1946 році був споруджений пам'ятник героям оборони Севастополя. У 1963 році на кладовищі відбулося відкриття пам'ятника — учасникам севастопольського підпілля 1942—1944 років. Автори проекту — скульптор С. О. Чиж і архітектор А. Л. Шеффер. Пам'ятник встановлено на братській могилі.
В теперішній час кладовище нараховує 210 могил, багато з яких (до 1945 року) є кенотафами — під час війни кладовище, як і все місто, піддалося масованим авіанальотам і було сильно зруйноване. Всі могили належать людям що залишили помітний слід в історії Севастополя і Чорноморського флоту.