San Gimignano sorse su un sito abitato sicuramente dagli etruschi, almeno dal III secolo a.c., come testimoniano i numerosi ritrovamenti archeologici (soprattutto tombe) nel territorio circostante. Il colle era stato scelto sicuramente per questioni strategiche, essendo dominante 324 m s.l.m.) dell'alta Val d'Elsa.

La prima menzione risale al 929.

Nel Medioevo la città si trovava su una delle direttrici della via Francigena, che Sigerico, arcivescovo di Canterbury, percorse tra il 990 e il 994 e che per lui rappresentò la XIX tappa (Mansio) del suo itinerario di ritorno da Roma verso l'Inghilterra. Sigerico la nominò Sce Gemiane, segnalando il borgo anche come punto di intersezione con la strada fra Pisa e Siena.

Secondo la tradizione il nome derivò dal santo vescovo di Modena, che avrebbe difeso il villaggio dall'occupazione di Attila.

La prima cinta muraria risale al 998 e comprendeva il poggio di Montestaffoli, dove già esisteva una rocca sede di mercato di proprietà del vescovo di Volterra, e il poggio della Torre con il castello vescovile.