Serly werd in het Hongaarse Losonc (thans het Slowaakse Lučenec) geboren en was met zijn ouders in 1905 naar de Verenigde Staten vertrokken. Zijn eerste muziekles kreeg hij van zijn vader Lajos Serly, zelf leerling van Franz Liszt. Aanvankelijk speelde hij viool in verschillende kleine orkesten waarvan zijn vader dirigent was. Hij studeerde aan de Ferenc Liszt-Akademie voor muziek te Boedapest, onder andere compositie bij Béla Bartók en Zoltán Kodály, viool bij Jenő Hubay en Hans Koessler en orkestratie bij Leó Weiner. In 1925 studeerde hij hier summa cum laude af.
Hij voltooide het 3e pianoconcert en het altvioolconcert van Béla Bartók na diens overlijden.
Als muziekpedagoog doceerde hij compositie aan de Manhattan School of Music in New York en aan andere instituten. Tot zijn leerlingen behoren jazzcomponist Manny Albam en componist Jerry Bilik. Als dirigent was hij verbonden aan het symfonieorkest van de Deense omroep, waarmee hij ook veel eigen werk uitvoerde.
Als componist schreef hij werken in vele genres.
Composities
Werken voor orkest
1929Brácsaverseny (Concert), voor altviool en orkest
John Ardoin: Philadelphia Orchestra Members, in: The Philadelphia Orchestra : a century of music, Philadelphia: Temple University Press, 1999, 256 p.
Wolfgang Suppan, Armin Suppan: Das Neue Lexikon des Blasmusikwesens, 4. Auflage, Freiburg-Tiengen, Blasmusikverlag Schulz GmbH, 1994, ISBN 3-923058-07-1
Wolfgang Suppan: Das neue Lexikon des Blasmusikwesens, 3. Auflage, Freiburg-Tiengen, Blasmusikverlag Schulz GmbH, 1988, ISBN 3-923058-04-7
Wolfgang Suppan: Lexikon des Blasmusikwesens, 2. eränzte und erweiterte Auflage, Freiburg-Tiengen, Blasmusikverlag Fritz Schulz, 1976
Paul E. Bierley, William H. Rehrig: The heritage encyclopedia of band music : composers and their music, Westerville, Ohio: Integrity Press, 1991, ISBN 0-918048-08-7
H. Wiley Hitchcock, Stanley Sadie: The new Grove dictionary of American music, New York, N.Y. : Grove's Dictionaries of Music, 2002, 4 volumes, 2736 p., ISBN 978-0943818368
Neil Butterworth: A dictionary of American composers, New York: Garland, 1984. 523 p., ISBN 0824093119
Composium annual index of contemporary compoitions, Directory of new music 1982/83 edition, Los Angeles: Crystal Record, 1983. ISBN 978-9993898153
E. Ruth Anderson: Contemporary American composers - A biographical dictionary, Second edition, Boston: G. K. Hall, 1982, 578 p., ISBN 978-0816182237
E. Ruth Anderson: Contemporary American composers - A biographical dictionary, 1st ed., Boston: G. K. Hall, 1976, 513 p., ISBN 0-8161-1117-0
Jeb H. Perry: Variety obits. An index to obituaries in Variety, 1905-1978, Metuchen, N.J.: Scarecrow Press, 1980, 311 p., ISBN 978-0810812895
Jaques Cattell Press: ASCAP biographical dictionary of composers, authors and publishers, Fourth edition, New York: R. R. Bowker, 1980, 589 p., ISBN 0835212831
Maurice W. Riley: The history of the viola, Ann Arbor, Michigan: Braun-Brumfield, 1980. 396 p., ISBN 978-0960315017
Kurtz Myers: Performer Index : Conductors, in: Index to record reviews, 1949-1977 : based on material originally published in "Notes", the quarterly journal of the Music Library Association Between 1949 and 1977, Vol. 5: indexes, Boston, Massachusetts: G.K. Hall, 1980, 664 p. ISBN 978-0816100873
Index to music necrology : 1978 necrology, Notes (Music Library Association), 1979, p. 857
Gösta Morin, Carl-Allan Moberg, Einar Sundström: Sohlmans musiklexikon - 2. rev. och utvidgade uppl., Stockholm: Sohlman Förlag, 1975-1979, 5 v.
Gösta Morin, Carl-Allan Moberg, Einar Sundström: Sohlmans musiklexikon : nordiskt och allmänt upplagsverk för tonkonst, musikliv och dans, Stockholm: Sohlmans Förlag, (1951-)
Storm Bull: Index to biographies of contemporary composers, Vol. II, Metuchen, N.J.: Scarecrow Press, 1974, 567 p., ISBN 0-8108-0734-3
Storm Bull: Index to biographies of contemporary composers, New York: Scarecrow Press, 1964, 405 p.
Paul Frank, Burchard Bulling, Florian Noetzel, Helmut Rosner: Kurzgefasstes Tonkünstler Lexikon - Zweiter Teil: Ergänzungen und Erweiterungen seit 1937, 15. Aufl., Wilhelmshaven: Heinrichshofen, Band 1: A-K. 1974. ISBN 3-7959-0083-2; Band 2: L-Z. 1976. ISBN 3-7959-0087-5
Charles Eugene Claghorn: Biographical dictionary of American music, West Nyack, N.Y.: Parker Pub. Co., 1974, 491 p., ISBN 978-0130763310
A list of works performed at the American Composers' Concerts and Festivals 1925-71, in: American Composers' Concerts and Festivals of American Music 1925-71; cumulative repertoire, Institute of American Music of the University of Rochester, Rochester, NY: 1972, 75 p.
Marc Honneger: Dictionnaire de la musique, Paris: Bordas, 1970-76
P. Townend: Who's who in music and musicians' international directory 1962, New York: Hafner Publishing Co., 1962, 331 p.
John Tasker Howard, James Lyons: Supplementary Chapter One : 1945-1954, in: Our American music : three hundred years of it, Third edition, revised and reset., New York: Thomas Y. Crowell, 1954, 841 p.
John Tasker Howard, Arthur Mendel: Our contemporary composers : American music in the twentieth century, Freeport, New York: Books for Libraries Press, 1941, 447 p.
Edmund Spaeth: Music and dance in New York State, New York: Bureau of Music Research, 1952
Dr. J.T.H. Mize: The international who is who in music, Fifth (Mid-Century) Edition, Chicago: Who is Who in Music, 1951, 576 p.
J. Barone: Who is who in music, 1941 edition, Chicago: Lee Stern Press, 1941
