古時候有一對夫妻，丈夫是個生意人，妻子因丈夫經常外出不在家，於是和賣布的好上了。一次，那賣布的正和妻子幽會，被丈夫發現了。之後妻子用綠色的布料做了一頂帽子給丈夫，和賣布的約定，看見丈夫戴上綠帽子外出就可以來了。此後丈夫戴上那頂綠帽子外出，他妻子就和賣布的私會，於是，綠帽子説法就傳下來了。
綠頭巾、綠帽子、戴綠帽，自明清以來，都用以指那個妻子出軌的丈夫。這種稱呼不僅散見於小説裏，更是庶民用語之一。除此之外，有關“戴綠帽子”的笑話也頗不少。綠頭巾的稱呼應起於明代，明代的樂户乃是一種半妓半伶的低賤職業，規定她們只能穿戴綠色的頭巾，因而綠頭巾遂成了低賤的記號。出軌，當然也就相當於這種戴了綠頭巾的行業。
若對中國古代的服裝、顏色，以及身分階級的區隔稍加研究，在更早的時代，巾和綠就一直是低賤者的專利。
以巾而論，雖起源甚早，但直到東漢都是平民或賤民們的專屬冠飾，由巾並發展出類似的冠飾，如漢代的幘、唐代的頭等。清代翟灝在《通俗編》卷十二里指出，遠在春秋時代，有貨妻女求食者，綠巾裹頭，以別貴賤。足見綠頭巾之早。漢代有了由巾變過來的幘。唐代顏師古在註解《漢書·東方朔傳》裏所提到的綠幘。
因此，綠在中國古代的顏色評等上，乃是最低級的顏色。在唐代，官吏有袍，品級最低者也是綠色。唐代白居易的《懷微之》有詩句曰：分手各拋滄海畔，折腰俱老綠衫中。可以為證。
由此可見，綠頭巾長期以來，即一直是賤民隸卒或僕庶者流所使用的裝束。正因如此，它到了元明開始，遂日益成為娼妓之家男子們之裝束。綠頭巾和綠帽子，也因此而從一種服裝旳記號語言，升格成日常用語。
