Dagli inizi del XII secolo, il comune di Pisa, era giunto a consolidare il proprio dominio lungo la costa tirrenica, includendovi nel 1180 anche il territorio di Scarlino. Così il castello divenne sede di capitania.
Ai primi decenni del XIV secolo risale la costruzione della Rocca e probabilmente delle mura che cingono l'intero borgo.
Dalla fine del XIV secolo Scarlino entrò a far parte del piccolo principato di Piombino, sotto la signoria degli Appiano conoscendo un periodo di fioritura demografica e prosperità economica; nel corso del XVI secolo, con il consolidarsi del potere mediceo, si avvia ad un progressivo declino, culminante nella seconda metà del secolo con la perdita di qualsiasi rilevanza strategica.