Weiss föddes i en judisk-kristen familj i Berlin 1932. Släkten tillhörde familjen Rathenaus umgängeskrets inom Berlins intellektuella kretsar, men fadern, som var neurolog och övertygad kommunist, hade delvis tagit avstånd från dem. Modern var skådespelare.
Familjen blev förföljd under Nazityskland, efter att fadern vittnat om en felbehandling utförd av en nazistisk läkare, och flyttade efter nationalsocialisternas makttagande till Prag. I samband med den nazityska annekteringen av Tjeckoslovakien 1938, då familjen befann sig på semester i de slovakiska Tatrabergen, flydde familjen vidare till USA. Weiss gick i skolan i New York och studerade sedan vid MIT. Där tog han 1955 sin Bachelorexamen och 1962 sin doktorsexamen. Weiss blev 1973 professor vid Princeton University. Sedan 2001 är han adjungerad professor vid Louisiana State University.
Weiss var under tidiga år delaktig i utvecklingen av atomur. Under 1970-talet var han som en av de första pionjärerna sysselsatt med mätningar av den kosmiska bakgrundsstrålningen. Han hade en ledande position i utvecklingen av Cosmic Background Explorer. Samtidig var Weiss en drivande kraft under utvecklingen av laserinterferometri, vilket resulterade i etableringen av LIGO-projektet.
Weiss Measurements of the Cosmic Background Radiation, Annual Review of Astronomy and Astrophysics, band 18, 1980, sid. 489
"The COBE Project", Physica Scripta, band 21, 1980, sid. 670
Weiss Interferometric Gravitational Wave Detectors, in N. Ashby, D. Bartlett, W. Wyss (red.), Proceedings of the Twelfth International Conference on General Relativity and Gravitation, Cambridge University Press, 1990, sid. 331