「貞女」の正しい読み方は「ていじょ」です。「貞」の音読みである「テイ」と、「女」の音読み「ジョ」を組み合わせた漢語であり、特別な変則読み(熟字訓など)ではありません。
それにもかかわらず読み方に迷う人が多い背景には、「貞」という漢字を日常で見かける機会が「貞操(ていそう)」や「不貞(ふてい)」など特定の熟語に限られている点があります。また、「女」を「じょ」と読むか「にょ(女人など)」「め」と読むかで一瞬戸惑うことも、難読漢字のように受け取られる要因です。
言葉の本来の意味は、「夫に対する操(みさお)を堅く守る女性」や「道徳心が高く、節操のある女性」を指します。「貞」という字自体に「正しい筋道を守る」「操が堅い」という意味が含まれており、古くから強い貞操観念を持つ女性を称える語として使われてきました。