Яков Алексеевич Прозоров родился в городе Вятке в семье купца. Он не имел специального образования, но с юных лет помогал вести дела своему отцу, выезжал в Архангельск и вел работу с приказчиками на перевалочных пунктах. В 1841 году он женился на Пелагее Семеновне Угрюмовой, и в их браке родилось четверо детей.

В период с 1845 по 1855 годы Яков Прозоров числился среди купцов 3-й гильдии, что означало, что его оборотный капитал составлял не менее 6 тысяч рублей. В 1845 году он направил в Архангельск четыре судна с различными товарами. В 1848 году Яков Прозоров купил дом на юго-западном углу перекрестка Вознесенской и Никольской улиц и с 1849 года вместе с семьей переехал туда. В декабре 1855 года Яков Прозоров стал купцом 1-й гильдии, а в 1859 году — городским головой.

Яков Прозоров активно занимался благотворительной деятельностью, выдавал деньги и муку тем, кто нуждался, и жертвовал городу дома. В 1860 году ему было присвоено звание потомственного почётного гражданина. С 1861 года он продавал свои товары в порту Санкт-Петербурга, налаживая торговые связи с другими странами. В 1866 году капитал торгового дома Прозорова составил 3 миллиона рублей. В 1878 году вместе с семьей Яков Прозоров переехал в Санкт-Петербург. В 1880 году он был награждён орденом Святого Владимира 4-й степени и получил потомственное дворянство. Яков Прозоров умер в 1881 году.