壬生浪士組が結成されると、平山五郎は組織の中枢である新選組副長助勤の要職に就任しました。これは近藤派の沖田総司や永倉新八、藤堂平助らと同格の幹部ポストであり、平山の武術指南役としての技量と政治的影響力の高さを示しています。
会津藩の預かりとなった浪士組において、平山は芹沢鴨の絶対的な忠臣として行動を共にしました。筆頭局長として京都洛中で尊攘派浪士の取り締まりを行う一方、芹沢派は次第に酒乱や乱暴狼藉が目立つようになります。大坂での力士乱闘事件や商家への押し借りなど、治安維持を担う組織としてのモラルが問われる事態が頻発しました。
平山自身も豪快な性格ゆえに芹沢の行動を制止することなく、むしろ行動隊長的な役割を果たしていました。この芹沢派の専横が、組織の規律と主導権確立を目指す近藤勇・土方歳三ら試衛館派との間に決定的な亀裂を生むことになります。