Принято считать, что хитрость и осторожность являются характерными чертами жителей французской провинции Нормандии.
Эти качества нормандцев и отразились в данной идиоме.
Существует широко распространенное мнение, что когда нормандцу задают какой-нибудь вопрос, он всегда отвечает уклончиво или двусмысленно.
Отсюда также и выражение réponse Normande.
…Je ne vous réponds ni oui ni non, en vrai Normand (Flaubert).
