Après leur arrestation par la police française, le , lors de la rafle du Vélodrome d'Hiver, à leur domicile parisien du 54 rue des Abbesses, toute sa famille et lui sont emmenés dans un centre de regroupement improvisé à la mairie du 18e arrondissement de Paris[4], puis au camp de Beaune-la-Rolande. En rampant sous une rangée de barbelés, Joseph Weismann, âgé de onze ans, parvient à s'en évader avec un ami, Joseph Kogan, alors que les enfants sont séparés de leurs parents, lesquels sont convoyés vers le camp d'extermination d'Auschwitz[1]. Les enfants restants seront également déportés dans les convois suivants[5].
Joseph Weismann passe le reste de la guerre dans une ferme du Loiret, où il doit travailler dur. À la fin de la Seconde Guerre mondiale, il espère revoir ses parents et ses sœurs (Charlotte et Rachel), mais ces dernières sont mortes en déportation[2]. Charlotte Weismann (née le à Paris) est déportée à Auschwitz par le convoi no 16 en date du [6] et assassinée à son arrivée le , à l'âge de 13 ans. Rachel Weismann (née en à Paris) est déportée à Auschwitz par le convoi no 22 en date du [6] et assassinée à son arrivée le , à l'âge de 7 ans.
Il veut changer de nom et « s'appeler Dupont, comme tout le monde ». Puis il devient « vindicatif, bagarreur, un pantin démantibulé qui devait se reconstruire »[1]. Il mène finalement sa vie professionnelle au Mans comme vendeur de meubles[7]. Il est retraité dans cette ville.
En 1996, lors d'un colloque à Orléans, Simone Veil essaie de le convaincre d'écrire ses mémoires : « Monsieur Weismann, vous avez un devoir de mémoire à accomplir »[7]. Dans un premier temps il ne l'écoute pas, pensant que ça ne le concerne pas ; mais il finit par admettre qu'elle a raison et témoigne depuis régulièrement dans les collèges[7],[8].
Joseph Weismann reçoit la médaille des évadés, le , 72 ans après son évasion du camp de Beaune-La-Rolande[9].