山南敬助は仙台藩出身（諸説あり）と伝わり、江戸の三大道場の一つである玄武館で北辰一刀流を学び、免許皆伝の腕前を誇る剣豪でした。文武両道で学問にも通じており、粗暴な隊士が多かった初期新選組において極めて貴重な知性派幹部として知られていました。
天然理心流の試衛館道場主・近藤勇と手合わせをしたことでその器量に惚れ込み、試衛館一派と行動を共にするようになります。文久3年（1863年）の浪士組結成に伴って上洛し、壬生浪士組（のちの新選組）が発足すると、筆頭局長・芹沢鴨の一派と近藤一派が対立する中で、副長として組織の基盤固めに奔走しました。
芹沢一派粛清後の組織再編において、山南は近藤・土方に次ぐ最高幹部ポストである「総長」に就任します。軍事面だけでなく、隊内の規律統制、対外的な交渉、政治的な文筆活動を一手に引き受け、壬生の町人や子どもたちにも温かく接する人格者として深く親しまれました。
