業卻以為漢、周都是漢人，同室操戈，殺的都是自己同胞。是以他屢次苦勸北漢皇帝劉崇與後周皇帝柴榮講和。只不過劉崇恨柴榮入骨，更想借助契丹騎兵滅掉後周，獨霸天下，壓根不聽楊業苦諫。後來劉崇寵信奸臣，橫徵暴斂，弄得上下離心。宋太宗趁機興兵北伐，消滅了劉崇。他素聞楊業威名，將其收降，拜鄭州刺史，授右領軍衛大將軍，後調任雲州觀察使、代州刺史兼三交駐泊兵馬部署，為宋國鎮守北疆，抵擋契丹大軍南下。楊業曾在雁門關大破遼軍，威震契丹。直到雍熙三年，楊業隨軍北伐，為大將潘美的副將。只是此戰宋軍主力曹彬失利，潘美和楊業被迫撤軍。監軍王侁威逼楊業反擊契丹大軍，楊業據理力爭，卻被王侁侮辱，他毅然帶兵出征，被遼軍重兵圍困，身受重傷被俘，竟然絕食而死。楊業死後，其六子楊延昭仍然鎮守邊關，多立戰功。民間可憐楊氏一門忠烈，紛紛傳說楊家父子與契丹大戰的故事。到得後來，有人將楊家父子的故事寫在書中，四處傳播。其中不免誇大楊氏父子的戰績。楊業的名字在書中變成了“楊繼業”，不過民間多稱其為楊老令公而不名之。