Pulau Stonecutters direbut oleh Tentara Kekaisaran Jepang pada 11 Desember 1941, setelah membombardir daerah ini. Kapal-kapal dagang yang biasanya berlabuh di dermaga pulau ini dibatalkan, pembongkaran serta penghancuran juga dilakukan, termasuk Pangkalan Angkatan Laut Kowloon. Selama Perang Dunia II, instalasi radio yang ada di Pulau Stonecutters digunakan oleh Jepang untuk keperluan militernya dan guna memperluas jangkauan transmisi NHK Overseas Broadcasting Bureau.
Dalam Perang Dunia II, Tentara Kekaisaran Jepang mengisolasi Pulau Stonecutters dan menjadikannya sebagai tempat peternakan ular. Ular-ular tersebut diambil racunnya untuk digunakan sebagai obat penangkal racun bagi tentara mereka yang digigit ular beracun saat bertugas aktif di teater Pasifik.