Narodil se dne 23. května 1951 ve městě Zlatoustu na Urale. Šachy se naučil hrát jako čtyřletý od svého otce a v 11 letech se stal kandidátem mistra. Díky tomu se roku 1963 dostal na prestižní šachovou školu Michaila Botvinnika, i když ten zpočátku o Karpovově budoucnosti neměl vysoké mínění. Karpov však projevil talent, rychle se zlepšoval a už roku 1966 se stal mistrem Sovětského svazu, nejmladším v historii (spolu s Borisem Spasským). První zahraniční turnaj odehrál Anatolij Karpov v zimě 1966 v Třinci.