Иван Емельянович Гулыга родился 26 августа 1859 года в станице Незамаевской Кубанской области, происходил из кубанских казаков. Начальное образование он получил в Кубанской классической гимназии. В военную службу Гулыга вступил 12 апреля 1874 года. В 1877 году он окончил Ставропольское казачье юнкерское училище, из которого был выпущен в 1-й Уманский полк Кубанского казачьего войска.

Позже Гулыга служил в 1-м Полтавском полку, в рядах которого принимал участие в русско-турецкой войне 1877—1878 годов. За отличие 16 апреля 1878 года он был произведён в хорунжие. По окончании военных действий Гулыга вернулся на Кубань и 1 мая 1879 года вышел в отставку. 4 января 1887 года он вновь вернулся на службу с прежним чином и был зачислен младшим офицером Ставропольского казачьего юнкерского училища. 19 декабря 1889 года Гулыга был произведён в сотники.

Пройдя курс наук в Николаевской академии Генерального штаба, Гулыга был выпущен из неё по 1-му разряду и 1 июня 1899 года произведён в подъесаулы, а на следующий день был переименован в капитаны с зачислением по Генеральному штабу. 26 ноября 1899 года он был назначен старшим адъютантом штаба 2-й Кавказской казачьей дивизии, на каковой должности находился до 31 января 1904 года, причём 6 декабря 1903 года был произведён в подполковники.

С 17 октября 1901 года по 19 октября 1902 года Гулыга отбывал цензовое командование ротой в 263-м пехотном резервном Новобаязетском полку. Назначенный старшим адъютантом штаба Приамурского военного округа, Гулыга по прибытии к месту службы принял непосредственное участие в военных действиях против Японии и был последовательно начальником штаба Уссурийского отряда и командиром сформированного из китайских добровольцев Хунчунского пехотного полка. За отличия в боях он был награждён орденом св. Анны 2-й степени.

Вскоре после начала Первой мировой войны Гулыга 30 июля 1914 года был назначен начальником 2-й Кубанской пластунской бригады, а с 3 февраля 1915 года командовал 1-й Кубанской пластунской бригадой. Высочайшим приказом от 7 января 1916 года он за отличие в Сарыкамышской операции был награждён Георгиевским оружием, а 26 января получил орден св. Анны 1-й степени с мечами. В апреле 1916 года Гулыга со своей бригадой участвовал в морской десантной высадке в Ризе, откуда совершил бросок к Трапезунду.

Произведённый 1 октября 1917 года в генерал-лейтенанты, Гулыга тогда же был назначен командиром начавшегося формироваться Кубанско-Терского пластунского корпуса. Пользовавшийся большим авторитетом на Кубани, Гулыга сразу же выступил против большевиков. В феврале 1918 года он был среди претендентов на пост командующего войсками Кубанского края, но его кандидатура была отвергнута Кубанской радой. Однако в марте после отказа генерала Букретова от этой должности Гулыга всё же был назначен на этот пост.

После разгрома Белого движения на юге России Гулыга эмигрировал в Югославию вместе с сыном Георгием, полковником, активно участвовал в деятельности белоэмигрантских организаций, был членом Общества офицеров Генерального штаба. Он скончался 2 июня 1934 года в Белой Церкви. Внук И. Е. Гулыги, Арсений Владимирович Гулыга, был видным советским историком и философом, специалистом по немецкой философии.