1880 eröffnete Jacob Ronacher, Bruder von Anton Ronacher (dem Gründer des bekannten Etablissement Ronacher), ein Kaffeehaus unter dem Namen Café Ronacher im Eckgebäude Gumpendorfer Straße / Lehargasse. Die Ausgestaltung des Lokals im Stile eines Ringstraßen-Cafés mit Parkettboden, Stühlen von Thonet, Marmortischen, Kristallluster und Caramboltischen wurde von den Architekten Wilhelm Jelinek und Anton Groß ausgeführt. Noch im selben Jahr gab Ronacher jedoch das Geschäft auf und verkaufte es an die Familie Sperl, die es unter dem Namen Café Sperl weiterführte. 1884 wurde Adolf Kratochwilla Inhaber des Lokals, behielt aber den inzwischen etablierten Namen bei.
Zu den Stammgästen des Sperl zählten in der Zeit vor dem Ersten Weltkrieg eine kuriose Mischung aus Künstlern – Schriftstellern, Malern, Architekten, Komponisten, Musikern, Schauspielern – und Militärs der nahen k.u.k. Kriegsschule, zu letzteren zählten beispielsweise der spätere Chef des Generalstabs der österreichisch-ungarischen Armee Franz Conrad von Hötzendorf und Erzherzog Josef Ferdinand.
Nach dem Zweiten Weltkrieg nahm das Café seinen Betrieb wieder auf. 1968 übernahm Manfred Staub das Lokal von der Familie Kratochwilla und ließ es 1983 unter Erhaltung des denkmalgeschützten Ensembles renovieren. In den Folgejahren erlangte das Sperl verschiedene Auszeichnungen, so wurde es 1998 zum Österreichischen Kaffeehaus des Jahres ernannt und erhielt 2004 die Goldene Kaffeebohne. Zu den Stammgästen der jüngeren Vergangenheit zählten die Schriftsteller Jörg Mauthe, Robert Menasse und Michael Köhlmeier.
Das Café Sperl diente auch schon mehrfach als Drehort, so zum Beispiel für den Fernsehfilm Lauras Wunschzettel.