Анатолий Петрович Александров родился 31 января 1903 года в городе Тараща Киевской губернии. Он был третьим ребёнком в семье надворного советника Петра Павловича и Эллы Эдуардовны Александровых. В три года Анатолий осиротел — умерла мама. Детей воспитывала бабушка Анна Карловна, немка по происхождению. В доме говорили на трёх языках: русском, немецком и украинском.

В 1912 году Анатолий Петрович поступил в Киевское реальное училище, которое окончил в 1918 году уже в разгар Гражданской войны. После ухода немцев по призыву гетмана Скоропадского записался в русские добровольческие части для защиты города от петлюровцев и большевиков. Когда Красная армия захватила Киев, Александров с приятелем был на даче в Млынке. Затем он стал юнкером, воевал в составе Русской армии Врангеля пулемётчиком и был награждён тремя георгиевскими крестами.

После эвакуации армии Врангеля из Крыма Александров предпочёл остаться. Во время массовых расстрелов в Крыму он был схвачен, но благодаря стечению обстоятельств сбежал из плена и выбрался с полуострова. Позже работал ассистентом в Киевском горном институте, электромонтёром, электротехником в Киевском физико-химическом обществе при Политпросвете и преподавателем средней школы в селе Белки Киевской области.

Несколько лет совмещал учёбу на физико-математическом факультете Киевского университета с преподаванием физики и химии в 79-й школе в Киеве. По окончании Киевского университета работал в Киевском рентгеновском институте, а затем в ЛФТИ, где совместно с С. Н. Журковым и П. П. Кобеко разработал статистическую теорию прочности. Докторская диссертация — «Релаксация в полимерах» (1941).

С весны 1931 года до начала Великой Отечественной войны работал в Ленинградском Политехническом Институте им. М. И. Калинина, где стал кандидатом, а потом и доктором физико-математических наук. Дружил с академиком Колмогоровым А. Н. Перед началом Великой Отечественной войны совместно с И. В. Курчатовым и В. М. Тучкевичем разработал метод защиты кораблей от магнитных мин.

Участвовал в создании атомного оружия, стал заместителем И. В. Курчатова в Лаборатории № 2 АН СССР. В 1946—1955 был директором Института физических проблем АН СССР. В 1955 году стал заместителем директора Института атомной энергии, а после смерти Курчатова — его директором. По инициативе Александрова были разработаны и построены судовые энергетические установки для атомных ледоколов «Ленин», «Арктика» и «Сибирь».

С 1975 по 1986 год был президентом Академии наук СССР. В 1966—1989 годах являлся членом ЦК КПСС. Скончался 3 февраля 1994 года. Похоронен рядом с женой в Москве на Митинском кладбище. Награждён многочисленными наградами, включая три звания Героя Социалистического Труда, Ленинскую премию, Государственную премию СССР и четыре Сталинские премии.