Фразеологизм объясняется тем, что ряд французских слов, обозначающих физические недостатки, начинается с согласной В, например:
bancal - кривоногий,
bigle - косоглазый,
boiteux - схромой,
borgne - с одноглазый,
bossu - горбатый и т. д.
Les gens marqués au В passent en général pour malicieux et spirituels (Асаd.).