La provincia deriva dall'omonimo compartimento granducale, che a sua volta comprendeva la parte più antica dei domini fiorentini. Le modifiche avvenute in seguito sono state:

• nel 1923 il distacco del circondario di Rocca San Casciano, la cosiddetta "Romagna Toscana" (comuni di Bagno di Romagna, Dovadola, Galeata, Modigliana, Portico e San Benedetto, Premilcuore, Rocca San Casciano, Santa Sofia, Sorbano, Castrocaro Terme e Terra del Sole, Tredozio e Verghereto);
• nel 1925 la cessione alla provincia di Pisa dei comuni di Castelfranco di Sotto, Montopoli in Val d'Arno, San Miniato, Santa Croce sull'Arno e Santa Maria a Monte;
• nel 1927 il distacco dei comuni di Agliana, Cutigliano, Lamporecchio, Larciano, Marliana, Montale, Pistoia, Piteglio, San Marcello Pistoiese, Serravalle Pistoiese e Tizzana (oggi Quarrata) che andarono a formare la provincia di Pistoia;
• nel 1992 il distacco dei Comuni di Prato, Cantagallo, Carmignano, Montemurlo, Poggio a Caiano, Vaiano e Vernio che formarono la nuova provincia di Prato.