В секцию классической борьбы Карелин пришёл в 13 лет. И здесь на мальчика обратил внимание его единственный тренер – Виктор Кузнецов. В 1985 году, когда Александру было 18 лет, он в первый раз стал чемпионом мира среди молодёжи. И после этого были только одни победы. При этом за один год спортсмену приходилось участвовать в огромном количестве боёв.
В 1987 году, когда Карелину было 20 лет, он проиграл свой первый бой. И проиграл его со счётом 0 – 1 Игорю Ростороцкому, спортсмену из Краснодарского края. Но в 1988 году Александр всё же победил Игоря, который к тому времени был уже лидером сборной СССР. Однако тренеры не были довольны этим результатом и два спортсмена снова оказались на одном ковре. На этот раз победу снова одержал Александр, которому на тот период исполнился 21 год.
Трудно рассказать о каждой победе этого великого борца. Он боролся и со сломанными рёбрами и побеждал, он боролся с повреждёнными мышцами на руках, которые причиняли невыносимую боль и побеждал, он боролся с непобедимым Акирой Маэдой из Японии и тоже победил его.
В 2000 году на играх в Сиднее Александр второй раз в жизни одержал поражение. Это произошло во время схватки с Рулоном Гарднером, борцом из Америки. После того, как первый период был отыгран, счёт открыт так и не был, а после назначенного перерыва борцов поставили в так называемый крестовый захват и судья по какой-то причине посчитал, что первым разжал руки Александр, и победа была присуждена Гарднеру. После этого боя Карелин завершил свою спортивную карьеру. Однако перед этим поражением, хотя Карелину была и присвоена серебряная медаль, он выиграл первое место на Чемпионате Европы и Чемпионате России.
Все свои победы Александр Александрович посвящал своей единственной любимой жене Ольге. В их семье 3 детей – сын Иван занимается, как и отец, борьбой, дочка Василиса – художественной гимнастикой, а ещё один сын Денис пока не определился с родом занятий.
Александр закончил транспортный техникум, потом – институт физкультуры. С 1995 года работает сотрудником налоговой полиции и имеет погоны полковника налоговой полиции. Также является доктором педагогических наук, и это звание он получил уже после окончания спортивной карьеры. Федерацией любительской борьбы этот спортсмен был признан самым лучшим борцом греко-римского стиля прошлого века.
К тому же Александр участвовал в выносе огня на открытии последних зимних Олимпийских игр. В России так же ежегодно проходят соревнования по борьбе на призы Александра.