画面で見せる明るくユーモラスなキャラクターとは裏腹に、伊藤沙莉の幼少期の生い立ちは決して恵まれたものではありませんでした。
幼い頃に父親の会社が倒産し、両親が離婚。家庭環境は一変し、住む家を失うほどの経済的困窮に直面しました。一時期は一家離散の危機に瀕し、母と伯母が必死に働きながら、兄・姉・沙莉の3人きょうだいを育て上げました。当時の住まいはわずか3畳のアパートで、家族が身を寄せ合って暮らしていた過酷な現実を、本人がテレビの対談番組や自著で率直に明かしています。
実兄であるお笑いコンビ・オズワルドの伊藤俊介(兄)との兄妹エピソードも広く知られています。芸人として芽が出るのが遅かった兄に対し、先にブレイクしていた沙莉は家賃を援助するなど献身的に支え続けました。兄妹仲は極めて良好で、互いを「天才」「尊敬する表現者」と認め合い、テレビ番組でも忌憚のない掛け合いを見せるなど、逆境を共に乗り越えた深い信頼関係が築かれています。
また、彼女のトレードマークである独特のハスキーボイスにも幼少期の葛藤がありました。子役時代は「声がガラガラで可愛くない」「清純派ヒロインのオーディションで声が理由で落とされる」と悩み、コンプレックスを抱えていた時期がありました。しかし、ある現場の監督から「そのハスキーな声は誰にも真似できない最大の武器になる」と言葉をかけられたことで自身の声を受け入れ、唯一無二の個性へと昇華させたのです。