Выражение связано с именем монаха-францисканца отца Жозефа (le père Joseph), известного в истории Франции по прозвищу «серое преосвященство».
Будучи подручным и советником кардинала Ришелье, отец Жозеф выполнял его тайные поручения, принимал активное участие в разработке и осуществлении его планов.
Прилагательное серый, по всей вероятности, объясняется тем, что монахи францисканского ордена носили рясы серого цвета.
On le considérait à peu près comme un greffier de génie. Il avait traduit cela, une fois pour toutes: éminence grise du camp (P. Daix).