公元960年，宋遼連年征戰，雁門關一役，楊業父子率領的楊家軍大敗遼軍，楊五郎更是三次戰場上羞辱遼軍統帥耶律斜。耶律斜誓報此辱。楊六郎無意間拾到柴郡主所丟藏寶圖，又于皇宮偶遇柴，二人為破解圖中秘密，引起后宮火勢。潘豹率禁衛軍趕至，包圍六郎，就在六郎無法脫身之際，被賽花救走，卻不慎遺失頭上發簪，被潘豹抓到把柄。楊業父子凱旋而歸，卻遇到此等事情，十分生氣。因楊家將在雁門關一戰中，戰功卓著，倍受太宗嘉獎，對五郎加官晉爵，對此朝中以潘仁美為首的眾大臣，對此耿耿于懷。