Александр Александрович Половцов родился в Санкт-Петербурге. Он происходил из русского дворянского рода, известного с середины XVII века. Его отец, Александр Андреевич Половцов, был действительным статским советником, а мать, Аграфена Фёдоровна, урождённая Татищева. Александр Александрович был двоюродным братом историка С. С. Татищева.

Половцов учился в пансионе Ридигера, затем с отличием окончил Императорское училище правоведения в Петербурге. С 1851 года он определён на службу в 1-й департамент Сената в чине титулярного советника. С 1863 года он состоял за обер-прокурорским столом во 2-м департаменте Сената, а в 1867 году был назначен обер-прокурором 1-го департамента. В 1865 году он стал действительным статским советником.

В 1873 году Половцов был назначен сенатором и присутствовал в 4-м, а затем в 1-м департаменте Сената. В 1883 году он был пожалован в статс-секретари к Александру III и назначен государственным секретарём и членом Комитета финансов. В 1885 году он был произведён в действительные тайные советники.

Половцов был одним из основателей Императорского Русского исторического общества, в 1866—1879 годы — его секретарём, а с 1879-го и до конца жизни — председателем. Он также был инициатором и главным редактором многотомного издания Русского биографического словаря.

Александр Александрович широко занимался промышленно-финансовой деятельностью. В 1883 году он приобрёл на имя жены Богословский горный округ в Пермской губернии, где в 1894 году был построен крупнейший на Урале металлургический завод, названный Надеждинским в честь его жены.

Половцов был женат на Надежде Михайловне, приёмной дочери барона Александра Штиглица. После смерти барона Штиглица Надежда унаследовала значительную часть его состояния. У них было четверо детей: Анна, Надежда, Александр и Пётр.

Александр Александрович скончался в 1909 году в своём имении Рапти Лужского уезда Петербургской губернии. Он был похоронен в семейном склепе Троицкой (Штиглицкой) церкви в Ивангороде, рядом со своей супругой и семьёй Штиглиц.