Выражение восходит к существовавшему в прошлом обычаю затягивать одежду по фигуре при помощи четырех булавок.
Так, при помощи четырех булавок затягивали на спине перекинутый через плечи платок и скрепляли его крестообразно на груди.
Tirer son épingle du jeu выйти из игры; ловко вывернуться из затруднительного положения (букв. взять свою булавку из игры)
Некогда булавки являлись предметом роскоши.
После XV в. они перестали считаться роскошью, но все же ценились дороже, чем в наши дни. В частности, молодые люди во время игры использовали булавки в качестве денежной ставки.
Когда какой-нибудь игрок отказывался от игры, то брал назад свою булавку, т. е., не потерпев убытка, выходил из игры. Это и послужило источником возникновения данного идиоматизма.