赤沢亮正氏のルーツを探ると、昭和の日本政治を支えた名門の血筋に行き着きます。赤沢氏の祖父は、衆議院議員を9期務め、自治大臣や国家公安委員会委員長を歴任した赤沢正道（まさみち）氏です。正道氏は米子市を中心に鳥取県の発展に尽力した大物政治家であり、地元では今なおその功績が語り継がれています。
ただし、赤沢亮正氏自身は東京都文京区で生まれ育ち、親の地盤に安住することなく自らの実力で東大・運輸省キャリアを築いた経緯があります。地元政界からは「世襲の看板にあぐらをかかない実力主義のサラブレッド」として受け入れられてきました。
プライベートの家族構成については、妻（配偶者）と子どもがいます。妻は表舞台に過度に出ることはありませんが、多忙を極める赤沢氏に代わって地元・鳥取2区の後援会行事や支援者への挨拶回りを献身的にこなす存在として知られています。地元関係者からは「物腰が非常に柔らかく、誰に対しても丁寧で温かい接し方をする」と評判であり、赤沢氏の強固な地元基盤を陰で支える大きな原動力となっています。
