Всеволод Андреевич Всеволожский родился 25 октября (5 ноября) 1769 года. Он происходил из рода Всеволожских, которые, согласно официально признанной родословной, "причислились задним числом к роду Всеволожей". Всеволод Андреевич был младшим сыном пензенского воеводы, надворного советника Андрея Алексеевича Всеволожского, участника переворота 1762 года, погибшего во время восстания Пугачёва. Четырёхлетнего Всеволода с двумя старшими братьями и двумя сёстрами спас верный слуга.

В 13 лет Всеволод Андреевич начал службу в армии, будучи причислен сержантом в 1782 году к лейб-гвардии Преображенскому полку. В 1785 году он был переведён вахмистром в лейб-гвардии Конный полк. В 1790 году, будучи небогатым гвардейским подпоручиком, Всеволожский женился на внебрачной дочери бывшего фаворита императрицы Елизаветы Петровны, бывшего астраханского губернатора, бывшего сенатора, генерал-поручика Никиты Афанасьевича Бекетова и получил за нею в приданое двух крепостных и значительные ценности.

В 1791 году Всеволод Андреевич приобрёл у друга своего дяди, князя А. А. Вяземского, землю, 359 крепостных, остров Тюлений и каспийские рыбные промыслы при селе Чёрный Рынок в устье реки Прорвы. В 1794 году тесть Всеволожского умер, оставив его жене состояние, приносящее сотню тысяч рублей годового дохода. В 1796 году Всеволод Андреевич стал наследником колоссального состояния своего дяди, сенатора Всеволода Алексеевича Всеволожского, полученного им от императрицы Екатерины II за участие в перевороте 1762 года.

Всеволод Андреевич вышел в отставку в чине гвардии ротмистра 13 декабря 1796 года. До 1812 года он жил в Москве. При приближении французской армии Всеволод Андреевич отправил в ополчение 45 своих крепостных из Богородского уезда, 300 крепостных из Пермского имения, пожертвовал обмундирование для 2000 нижегородских ополченцев, а сам перебрался в Казань, а затем в заводской посёлок Пожва на Урале. В 1818 году он поселился возле столицы, на мызе Рябово в Шлиссельбургском уезде.

Всеволод Андреевич активно занимался предпринимательством. Он был членом Мануфактурного совета и владел несколькими заводами и промыслами. В 1813 году он основал в селе Елизаветине Богородского уезда фарфоровый завод. Всеволод Андреевич был также известен как хлебосол и театрал. В его имении часто гостили художники, драматурги и музыканты. Он был награждён несколькими орденами и медалями, включая орден Святого Владимира 4-й степени, орден Святой Анны 2-й степени и орден Святого Станислава 2-й степени.

Всеволод Андреевич был женат на Елизавете Никитичне Бекетовой, внебрачной дочери Никиты Афанасьевича Бекетова. В браке они имели трёх детей: Александра, Никиту и Марию. После смерти жены в 1810 году Всеволод Андреевич продолжал управлять своими имениями и промыслами. Он скончался 28 апреля (10 мая) 1836 года. Похоронен на Охтинском кладбище.