高ストレス者判定通知を受け取った労働者の多くが「面談を希望しない」最大の理由は、メリットよりもデメリットの方が圧倒的に大きいと感じているからです。厚生労働省のガイドラインでは、産業医面談の申し出を理由とした不利益な取り扱い（解雇、降格、不当な配置転換）は固く禁じられています。しかし、評価制度のブラックボックスに守られた日本企業において、労働者の猜疑心を払拭することは容易ではありません。
第一に挙げられるデメリットは、「メンタルが不安定な人材」という不可逆の社内レッテルです。産業医は面談後、必要に応じて就業上の措置（残業禁止、配置転換など）に関する意見書を会社に提出します。建前上は労働者保護のための措置ですが、現場レベルでは「昇進レースからの脱落」や「重要業務からの排除」として受け止められるケースが後を絶ちません。
第二に、産業医の力量やスタンスに対する不信感です。企業と契約している産業医の中には、メンタルヘルスの専門家である精神科医や心療内科医ではなく、一般内科や外科を専門とする医師も多く含まれます。短い面談時間の中で「睡眠をよく取りましょう」「もっと上司とコミュニケーションを取って」といった教科書通りの助言で片付けられ、根本的な労働環境の是正に踏み込まない姿勢に失望する社員が少なくありません。
結果として、従業員側は「人事や上司に知られるリスクを冒してまで、何の解決にもならない面談を受ける理由がない」と判断し、高ストレス通知を静かにゴミ箱へ捨てる道を選んでいます。
