В этом выражении слово quatre обозначает не конкретное число, а неопределенное множественное.
Подобное употребление этого числительного свойственно французскому языку и встречается у многих писателей.
Так, в трагедии Корнеля «Сид» можно прочитать следующую фразу: «A quatre pas d'ici je te le fais savoir».
Таким образом, ne pas (y) aller par quatre chemins дословно означает не идти несколькими путями [под раз. к своей цели], а идти одним определенным путем.
— Monsieur Oriol, je viens causer affaires avec vous. Je n'irai pas d'ailleurs par quatre chemins pour m'expliquer (Maupassant).
— Ma chère madame, je n'irai pas par quatre chemins. Voici le but de notre visite (Вrieux).
— Ma chère madame, je n'irai pas par quatre chemins. Voici le but de notre visite (Вrieux).