Адриан Константинович Гусельщиков родился 26 мая 1871 года в станице Гундоровской Области Войска Донского в семье казаков. В 1893—1895 годах он отбывал срочную воинскую службу в рядах 10-го Донского казачьего полка. Окончил Новочеркасское казачье юнкерское училище в 1900 году и был выпущен в звании подхорунжего.

Участник Первой мировой войны, Гусельщиков служил в Донских полках. В 1917 году он имел звание войскового старшины. После прихода к власти большевиков и крушения фронта вернулся на Дон, где принял участие в формировании Гундоровского Георгиевского казачьего полка. Основу этой воинской части составили георгиевские кавалеры 10-го Донского казачьего полка. С мая 1918 года он был назначен командиром Гундоровского полка в Донской армии в чине полковника.

Гусельщиков был участником гражданской войны в России на стороне ВСЮР и русской армии Врангеля. Он занимал различные командные должности, включая начальника Северного отряда, командующего Северо-Западным районом Северного фронта, начальника 8-й Донской дивизии и командира 3-го Донского корпуса. В сентябре 1919 года он был тяжело ранен в бою под городом Лиски. После эвакуации из Крыма в 1920 году остался во главе дивизии, с которой переехал в Югославию.

В эмиграции Гусельщиков находился во Франции, жил в городе Виши, где и скончался 21 февраля 1936 года. Он был похоронен на русском участке городского кладбища. За свою службу был награждён орденом Св. Николая Чудотворца, а также другими орденами, включая орден Святого Станислава 3-й степени, орден Святой Анны 3-й степени и орден Святого Владимира 4-й степени с мечами и бантом. В октябре 2013 года в городе Донецке был открыт памятник Гусельщикову.