Василий Васильевич Варгин родился в семье выходца из экономических крестьян Серпуховского Владычного монастыря. Его отец, Василий Васильевич, был серпуховским купцом, а дядя, Сергей Васильевич, - тарусским купцом. Семейное дело вели два брата, которым помогали младшие, Иван и Григорий. Торговля шла не только в Москве, но и на Дону, в Риге и других местах.

Василий Васильевич был привлечён к семейному делу с раннего возраста. После достижения совершеннолетия он был отправлен в Москву, где был представлен генерал-кригскомиссару А. И. Татищеву. Татищев предложил ему взять подряд на поставку холста для российской армии по низким ценам. Варгин успешно выполнил это дело, что возбудило к нему доверие со стороны правительства. Вскоре он стал владельцем полотняных фабрик в Вязёмах, Костроме, Переславле, и приобрёл две текстильные фабрики в Москве.

Во время войны 1812 года Варгин, по словам Татищева, явил себя "истинным патриотом" и оказал родине "неизмеримую заслугу", дав возможность преодолеть все трудности в заготовлении вещей и благодаря низким ценам сохранить казне многие миллионы. За заслуги во время войны Василию Васильевичу Варгину была пожалована медаль "За усердие", осыпанная бриллиантами, а также ему и его брату Борису Васильевичу было присвоено звание потомственного почётного гражданина.

В 1827 году после ухода Татищева, новый военный министр А. И. Чернышёв попытался привлечь Варгина к суду, якобы за недочёты и передержку казённых денег. Однако комиссия под председательством генерала Волкова дала самый лучший отзыв о Варгине. Деятельность следующей комиссии (Стрекалова-Погодина) всё-таки привела к тому, что в 1830 году В. В. Варгин был заключён в Алексеевский равелин Петропавловской крепости, его собственность была передана в опеку. После 13-месячного заключения Варгин был отправлен в Выборг, где претерпел крайнюю нужду. Только в июне 1832 года он получил позволение жить в Серпухове, а затем - в Москве. В 1835 году, когда ему были возвращены некоторые имения, Варгин вновь принялся за торговлю и поправление своего хозяйства. В 1858 году он добился пересмотра своего дела, опека с него была полностью снята, имения возвращены, и мнимый долг казне в миллион рублей был признан не подлежащим взысканию. В следующем году он умер от "нервического удара" и был похоронен на кладбище Донского монастыря.

Василий Васильевич Варгин был также домовладельцем и меценатом. К 1818 году он выкупил участки на Театральной площади, и в 1824 году отдал Дирекции императорских театров здание для театра (ныне Малый театр). Он имел дом на углу Никольского переулка и Ильинки, который был передан Серпуховскому городскому обществу. Варгин владел также домом на Кузнецком мосту, который посещали А. Ф. Мерзляков, братья Н. А. Полевой и К. А. Полевой, Н. В. Гоголь. По завещанию этот дом перешёл к М. И. Лясковской. Меблированные комнаты Варгина находились в здании на Тверской улице, которое позже принадлежало В. Н. Лясковскому. После пожара 1812 года владение купца Р. И. Журавлёва на Пятницкой улице было приобретено купцами братьями Варгиными, и в одном из восстановленных домов жил Лев Толстой со старшим братом Николаем и сестрой Марией. В Лефортово Варгин имел дом, а в Сущевской части - дом под номером 192 и 193, который он сдавал внаём под трактир или торговые помещения.