Nascido em 1161 em Jerusalém, Balduíno era filho do conde de Jaffa e Ascalon. Mais tarde, ele e sua irmã Sibila foram declarados filhos legítimos do rei Balduíno III, que, na verdade, era tio de ambos, para manter uma ordem de sucessão. Aos nove anos de idade, Balduíno passou a ser educado pelo historiador Guilherme de Tiro. Foi seu tutor que descobriu que o jovem garoto sofria de lepra, o que levou a uma intensa procura por tratamentos. Até médicos muçulmanos foram consultados, mas nada seria suficiente