В данном выражении речь идет о четырех католических монашеских орденах, возникших в XIII в., а именно: орден августинцев, кармелитов, доминиканцев (или якобинцев) и францисканцев.
Члены этих орденов — монахи давали обет (который, однако, далеко не всегда выполняли) не иметь никакого имущества и жить исключительно на подаяния верующих. Вот почему эти четыре ордена были названы нищенствующими.
Происхождение идиомы связано с тем,« что представители этих орденов, часто шедшие рядом во время религиозных процессий, носили рясы разных цветов, приблизительно напоминающих цвет винных ягод, орехов, миндаля и изюма.
Таким образом и возникла в представлении народа ассоциативная связь между “четырьмя нищими” и указанным выше десертом из четырех сортов фруктов.
