Александр Агеевич Абаза родился 24 июля 1821 года в Боровинском винокуренном заводе в Вышневолоцком уезде Тверской губернии в семье крупного помещика и сахарозаводчика Аггея Васильевича Абазы и его жены Прасковьи. Был крещён 31 июля 1821 года в церкви Владимирской Божьей Матери села Берёзки Вышневолоцкого уезда. В семье было ещё 8 детей, включая его старшую сестру и брата — Прасковью и Эраста.

С 13 декабря 1839 года он находился в военной службе, участвовал в боевых действиях на Кавказе и был награждён орденом Святого Владимира 4-й степени с мечами. В 1847 году вышел в отставку в чине майора и жил в своём имении, занимаясь сельским хозяйством и изучая финансовое право. В 1857 году поступил на гражданскую службу в чине коллежского асессора. Присоединился к просвещённому кружку, который группировался вокруг великой княгини Елены Павловны, и стал одним из проповедников реформ.

В 1865-1868 годах был членом Совета министра финансов и первого совета Главного общества российских железных дорог, принимал участие в сооружении Харьковско-Кременчугской железной дороги. С 1871 года состоял членом Государственного совета Российской империи. В 1871-1874 годах был государственным контролёром, а в 1874-1880 годах — председателем департамента экономии Государственного совета. В октябре 1880 — мае 1881 года занимал должность министра финансов России, инициировал отмену соляного акциза и осуществил повышение таможенных пошлин.

В 1884-1892 годах вновь занимал должность председателя департамента экономии государственного совета. В 1890-1892 годах был председателем Комитета финансов. В 1876 году был избран почётным членом Петербургской Академии наук, а в 1881 году стал почётным членом Московского общества испытателей природы. В 1889 году удостоен ордена Святого апостола Андрея Первозванного.

Александр Агеевич Абаза был дважды женат. Первый раз женился в 1851 году на дочери миллионщика Д. Е. Бенардаки Александре, которая умерла от чахотки в 1856 году. Вторая жена — Юлия Фёдоровна Штаубе, на которой он женился в 1862 году. У него была также любовница Елена Нелидова, с которой он жил в доме на Фонтанке. Умер в Ницце 24 января 1895 года и был похоронен на Тихвинском кладбище Александро-Невской лавры в Санкт-Петербурге.