Начал печататься с 1930 года. Его первая повесть ‑ «На скате», затем выходит «Месть» (1936). Короткие рассказы и повести для детей изданы в сборнике «Рассказы у костра» (1937).

Роман «Весна в Сакене» посвященный жизни современной абхазской молодежи принес писателю признание публики. Гулиа закрепил успех своего первого романа, вскоре выпустив еще две книги, тематически связанных с ним: «Добрый город» (1949) и «Кама» (1951). Вместе с «Весной в Сакене» они составили трилогию «Друзья из Сакена» (окончательная редакция 1954).

Вершиной исторической романистики Гулиа стала трилогия: «Фараон Эхнатон» (1968), «Человек из Афин. Хроника в шести книгах» (1969), «Сулла» (1971).