Ola Szczerbińska urodziła się 12 grudnia 1882 r. w Suwałkach, w niezamożnej rodzinie szlacheckiej. Dziewczynkę ochrzczono w kościele św. Aleksandra. Jej ojciec był aplikantem w suwalskim urzędzie, matka zajmowała się domem i dziećmi, których oprócz Oli było jeszcze czworo. Oboje rodzice przykładali ogromną wagę do wykształcenia dzieci, które niestety szybko osierocili. Po śmierci rodziców wychowaniem dzieci zajęła się ich babka Karolina. Ona też miała duży wpływ na nastoletnią wówczas Olę, kształcąc również w niej wzorce patriotyczne. Mając 19 lat Ola przeniosła się do Warszawy, gdzie studiowała na kursach handlowych i Uniwersytecie Latającym. Pracowała jako urzędniczka w fabryce. W Warszawie zetknęła się też z członkami Polskiej Partii Socjalistycznej. Wstąpiła do niej w 1904 roku, w której działała pod pseudonimem „Ola”. Przyszła Pani Piłsudska udzielała też korepetycji, a między lekcjami przenosiła w falbanach i fałdach sukien naboje i mauzery. Była odważną kobietą – w wynajmowanym mieszkaniu ukrywała broń. Organizowała przerzuty broni, współpracowała z kurierkami w przewozie rewolwerów i amunicji. Wydawała też sprzęt potrzebny do akcji bojowych.
Za swoją działalność trafiła do więzienia i groziła jej zsyłka na Syberię, ale z powodu braku dowodów wypuszczono ją. Podczas I wojny światowej pełniła funkcję komendantki służby kurierskiej Legionów Polskich. Wstępując do PPS poznała Józefa Piłsudskiego.