Natif de San Michele Extra, quartier de Vérone, il fait ses débuts dans l'équipe locale de son quartier, l'Audace San Michele, club de Mariolino Corso.
Fattori part ensuite au Vicenza, marquant son début en Serie A en tant que milieu défensif. Lors de la saison 1946-47, il part pour l'UC Sampdoria qui l'achète (avec Bassetto) pour une somme record de 10 millions de lires (en 1942-43, Valentino Mazzola est acquis avant la guerre par le Torino pour un million).
Il rejoint l'Inter Milan à l'été 1947 après seulement 12 mois à la Sampdoria. Il y reste sept saisons, et gagne deux championnats, en 1953 et 1954.