彼の恋愛史を語る上で、事実婚相手であった絵莉さんとの騒動は避けて通れない。一時は仲睦まじい様子をブログで連日アピールしていたものの、関係悪化後は一転して凄惨な暴露合戦へと発展した。モラハラやDV疑惑、養育費を巡る対立など、週刊誌の紙面を飾ったスキャンダルは、彼のイメージを決定的に失墜させた。
この一件以降、彼に対する世間の目は「破天荒な格闘家」から「トラブルメーカー」へと完全にシフトした。絵莉さんがSNSで発信するリアルな苦悩の声は、多くの女性ユーザーの共感を呼び、結果として才賀へのバッシングを加速させることとなったのだ。