Происхождение фразеологизма связано со старо-французским эпосом «Песнь о Роланде» (XII в.), где словом olifant назван рог героя поэмы — рыцаря Роланда.
Этот рог, сделанный из слоновой кости, мог издавать чрезвычайно сильные и оглушительные звуки, которые были слышны на большом расстоянии.
Вот что говорится об этом в поэме:
Свой Олифан Роланд руками стиснул
Поднес ко рту и затрубил с усилием.
Высоки горы, звонок воздух чистый,
Протяжный звук разнесся миль на тридцать.
Что касается этимологии слова olifant, то оно является искажением существительного éléphant, чем объясняется его значение — рог из слоновой кости.