小烏丸には、神話と歴史が交錯するドラマチックな逸話が数多く残されています。伝説によれば、平安初期の桓武天皇の御代、伊勢神宮へ祈願に訪れた際、南殿に突如として現れた体長八尺（約2.4m）の大烏が天皇に献上した、あるいはその羽から鍛造されたことから「小烏丸」と名付けられたと伝えられます。
その後、平将門の乱（承平天慶の乱）を鎮定した武将・平貞盛が朱雀天皇からこの刀を賜り、以来、平家一門を代々守護する「平家重宝」として筆頭格の扱いを受けました。平清盛をはじめとする平家一門の棟梁へと受け継がれ、源平合戦の動乱へと突入していきます。
1185年の壇ノ浦の戦いにおいて、平家滅亡とともに安徳天皇や三種の神器、そして数々の平家重宝が関門海峡の海底へと沈んだと伝えられていました。しかし、小烏丸は実際には海底に消えてはいませんでした。平家の末裔であり、室町幕府で有職故実を司った名門・伊勢氏（伊勢平氏）の手によって密かに守り継がれ、江戸時代を通じて同家の秘蔵品として大切に伝えられていたのです。
