Meskipun awalnya dia berpikir akan menerima penahanan, dia akhirnya menjadi salah satu dari tiga orang yang terang-terangan menolak. Dia bergabung dengan Komite Pelayanan Pertemana Amerika yang disponsori oleh Quaker. Tahun 1942 dia menyerahkan dirinya ke FBI, dan setelah didakwa untuk pelanggaran jam malam akhirnya diberi vonis 90 hari dalam penjara. Dia mengundang jaksa penuntut untuk banding hasil persidangan sampai ke Mahkamah Agung A.S. dan disponsori oleh ACLU. Salah satu pengacaranya merupakan jaksa Quaker asal Philadephia, Harold Evans. Di Mahkamah Agung akhirnya memutuskan bulat-bulat untuk mengalahkan Hirabayashi dalam sidang Hirabayashi v. Amerika Serikat (1943), meskipun dengan adanya tiga Hakim memberikan opini yang berlainan dan mendukung keputusan Mahkamah meskipun dengan kehati-hatian.