1987年、38歳になった菅は横浜市会議員選挙に西区から出馬する。小此木事務所で培った人脈と、1日3万歩とも言われた徹底的な辻立ちで初当選。横浜市会では若手ながら卓越した政策立案能力と根回しの手腕を発揮し、いつしか「影の横浜市長」と呼ばれるほどの影響力を持つに至る。
1996年、小此木彦三郎の急逝などを経て、第41回衆議院議員総選挙に神奈川2区から自由民主党公認で出馬。激戦を制して国政へと進出した。世襲議員でもなく、大派閥の後ろ盾もない新人議員が永田町で生き残るため、菅が選んだ武器は「徹底した情報収集」と「政策の実効性」だった。
総務大臣時代に打ち出した「ふるさと納税」の創設など、既存の官僚前例主義を打破するアプローチは、すでにこの頃から確立されていた。派閥の論理に過度に縛られず、実力と結果で自らの立ち位置を切り拓くスタイルが、党内での発言力を急速に高めていく。
