4人の出会いは、東京・下北沢のライブハウスシーンにさかのぼる。2012年、それぞれ別のバンドで活動していたメンバーが集まり、スタジオでのセッションを行ったのが始まりだ。川谷が自ら「このメンツなら絶対に面白いことができる」と確信し、声をかけた。
気になるバンド名の由来には、ファンには有名な裏話がある。結成当時、ちゃんMARIがスタジオに持参していた手作りのトートバッグに、たまたま毛糸で「ゲスの極み乙女」と刺繍されていたのだ。スタジオ帰りの居酒屋で「バンド名どうする?」という話になった際、川谷がそのバッグの文字を目留め、「これしかない!」と即決。インパクト抜群のネーミングは、こうして偶然と直感から誕生した。