Яков Фёдорович фон Гилленшмидт родился 21 октября 1870 года. Он был православным и происходил из дворян Вологодской губернии. Яков Фёдорович был сыном действительного статского советника Федора Григорьевича Гилленшмидта. После окончания Пажеского корпуса в 1890 году, он был произведен из камер-пажей в подпоручики 1-й конно-артиллерийской батареи с прикомандированием к Гвардейской конно-артиллерийской бригаде. В следующем году Яков Фёдорович был переведен в бригаду с тем же чином.

В 1894 году он получил звание поручика. С 1895 года Яков Фёдорович состоял адъютантом 1-го дивизиона Гвардейской конно-артиллерийской бригады, а с 1898 года — адъютант бригады, штабс-капитан. В 1902 году он стал капитаном. 6 апреля 1903 года за отличие по службе Яков Фёдорович был произведен в полковники, с назначением командиром 1-й батареи Гвардейской конно-артиллерийской бригады, каковую должность он занимал до 26 марта 1904 года.

В должности командира дивизиона Терско-Кубанского конного полка в составе вновь сформированной Кавказской конной бригады, Яков Фёдорович участвовал в русско-японской войне. Он был удостоен ордена Святого Георгия 4-й степени. 14 января 1906 года Яков Фёдорович был назначен командиром Кавказского запасного кавалерийского дивизиона, а 7 июля того же года — командиром 44-го Нижегородского драгунского полка. 21 мая 1912 года за отличие по службе он был произведен в генерал-майоры, с назначением командиром 1-й бригады Кавказской кавалерийской дивизии.

8 июня 1912 года Яков Фёдорович был назначен командиром лейб-гвардии Кирасирского Его Величества полка. 6 мая 1913 года он был зачислен в Свиту. 25 марта 1914 года Яков Фёдорович был назначен командиром лейб-гвардии Конной артиллерии, с которой вступил в Первую мировую войну. 29 сентября 1914 года он был назначен командующим 3-й Донской казачьей дивизией, а 11 октября того же года — командующим 2-й гвардейской кавалерийской дивизией. В декабре 1914 года во время боев в Петроковской губернии Яков Фёдорович командовал крупной кавалерийской группой.

13 мая 1915 года он был назначен командующим 4-м кавалерийским корпусом, активно действовал в Ровенской операции. 7 мая 1916 года Яков Фёдорович был произведен в генерал-лейтенанты с утверждением в должности. Будучи введен в прорыв у Костюхновки, 4-й Кавалерийский корпус за 23-24 июня 1916 года захватил 1600 пленных солдат и офицеров противника, 15 орудий, 8 пулеметов, 39 зарядных ящиков и массу военного имущества. В конце 1917 года Яков Фёдорович вывел свой корпус на Дон и перевел штаб в Ростов-на-Дону. В январе 1918 года он сдал командование А. П. Богаевскому и вступил в Добровольческую армию. Яков Фёдорович участвовал в 1-м Кубанском походе. В апреле 1918 года при отступлении армии от Екатеринодара он покинул ее с небольшим отрядом, в колонии Гначбау попал в окружение и при попытке прорыва был убит в бою.