Употребляется также в форме faire garder le mulet à qn. заставлять кого-л. ждать себя
В прошлом, когда еще не было современных средств передвижения, врачи, судьи и другие должностные лица отправлялись в дорогу на мулах.
При этом их всегда сопровождали лакеи, которые сторожили мулов своих хозяев, пока те занимались делами.
И поскольку присматривать за мулами зачастую приходилось слишком долго, то указанное выше выражение вскоре получило распространение и стало употребляться для обозначения долгого ожидания.