Ксенофонт Алексеевич Анфилатов родился 26 января 1761 года в деревне Вагинской Шестаковского тяглового стана Слободского уезда Вятской провинции Казанской губернии. Он был выходцем из семьи государственных крестьян, лично свободного сословия крестьянства. В 1769 году умерла мать Ксенофонта, Маланья Яковлевна, и в 1771 году его отец, Алексей Иванович, женился вторично на Феодосии Степановне Белослудцевой.

В 1773 году братья Алексей и Лука Анфилатовы подали прошение о записи их в купечество навечно. В 1777 году Алексея Ивановича избрали в соляные ратманы города Слободского, и в январе 1778 года Ксенофонту был выдан паспорт для торговой поездки. В 1782 году Ксенофонт Алексеевич был включен в ведомость Слободского магистрата как купец, объявивший капитал в 700 рублей.

В 1787 году Анфилатовы начали объявлять капитал по первой гильдии, что позволяло им вести заграничную торговлю и владеть морскими судами. В 1790 году Ксенофонт Анфилатов купил первое морское судно, бригантину "Доброе товарищество", и получил возможность вести торговлю с европейскими государствами. В 1791 году он был зачислен в разряд "именитых граждан", что давало ему определенные права и привилегии.

В начале XIX века Ксенофонт Анфилатов обратился с письмом к Н. П. Румянцеву, в котором предложил организовать торговлю через Атлантический океан. Он получил разрешение Александра I на учреждение в Лондоне "российской купеческой конторы" и освобождение от пошлин для кораблей, отправляемых с товарами в североамериканское государство. В 1806 году Анфилатов отправил первые корабли в Северную Америку, и экспедиция оказалась успешной, принеся прибыль в 1 миллион 148 тысяч 913 рублей.

Ксенофонт Анфилатов также был инициатором учреждения в городе Слободском общественного банка. Он подробно обосновал своё ходатайство, указав на необходимость доступного кредита для развития торговли и промышленности. 29 октября 1809 года Александр I издал указ Сенату, утвердив разработанный Анфилатовым "Устав для учреждаемого Вятской губернии в городе Слободском Общественного городового Банка". Слободской банк стал первым в России городским общественным банком и был открыт 31 декабря 1810 года. Анфилатов пожертвовал 25 тысяч рублей на учреждение банка и был назначен его директором. Банк сыграл большую роль в развитии финансовой системы страны, и по его образцу были открыты общественные банки в других городах России.