Mannen hadde eit kongeleg namn, men han vart fødd i små kår og opplevde mange nederlag og omskifte i livet sitt. Han vart fødd 6. mars 1897 i Lardal i Øvre Telemark. Faren døydde då Gustav var 2 år, og det verkelege namnet hans kjenner vi ikkje.

Truleg bar mora etternamnet til første mannen sin, Olemine Tidemann. Gustav Adolf var den 6. i ein barneflokk som skulle leve opp utan forsytar. Heile barneflokken vart spreidd, og G. A. O. kom til Skottfoss og vaks opp hos fosterforeldra Amalie og Markus Olsen. Amalie var svensk. Markus var norsk og var artist i eit sirkus dei første åra, og G.A.O. fekk vere med.

Då Olemine vart enkje, måtte ho ut for å livberge seg. Ho tok seg ymse vaskejobbar og møtte ein mann som gav ho ein son med namn Rudolf. Han hadde G.A.0. god kontakt med. Rudolf vart predikant i vaksen alder. Mora vart slumsøster og frelsessoldat. Gustav Adolf vart ikkje døypt som barn. Men dåpen tok han dagen før han vart konfirmert, i 1911. Etter konfirmasjonen kom han i gullsmedlære, der han var i 9 månader. Men som den vare og nærtakande guten han var, rømde han frå fosterforeldra sine sommaren 1912. Dette førde han ut i eit omflakkande liv, som både var hardt og lærerikt, og mange gonger sov han under tre og busker i Guds frie natur. Han drog frå anlegg til anlegg, og levde seg inn i rallarlivet. Det var korte opphald på kvar plass. Over så godt som heile landet flakka han, og levde eit liv han var stolt av.

G.A.O. har prøvd seg på fraktfart og kvalfangst, ja, han var også på ferd til Finlandskrigen. Men den tok slutt då G.A.O. nådde fram til fronten.

Det første ekteskapet som han innleia, varde kort. Men då han på ei togreis mellom Åndalsnes og Oslo møtte Kasbara («Bara») Osnes, kom mannen i brann, og det vart giftarmål i 1940. Olsen var då 33 år, og Bara 43 år.