2001年、彼はついに政界へと足を踏み入れる。第19回参議院議員通常選挙において自由民主党から比例区で出馬し、得票数トップで初当選を果たした。抜群の知名度と圧倒的な発信力は、政界でも即戦力として期待された。
政治家としてのハイライトは、2007年の安倍内閣および福田内閣における厚生労働大臣就任だ。当時、厚生労働省は「消えた年金記録問題」で激しい批判の渦中にあった。連日連夜、役所のトップとして記者会見に応じ、行政の不祥事に対して徹底的な解明と改革を断行。その鬼気迫る姿勢は、国民から高い支持を集めた。
さらに、新型インフルエンザ流行への危機管理対応など、官僚機構の抵抗に遭いながらもトップダウンで迅速な決断を下し続けた。政策通としての手腕と実行力を見せつけたこの時期は、政治家・舛添要一としての絶頂期と言えるだろう。