杨伯雄,字希云,真定藁城人。八世祖杨彦稠,后唐清泰年间,任定州兵马使。后来跟随后晋国君北迁,便居住在临潢。他的父亲杨丘行,任太子左卫率府率。

杨伯雄在皇统二年(1142)中进士,海陵王留守中京时,杨丘行在那里当幕府官员。杨伯雄前来省亲,海陵王见到之后,十分器重他。过了许久,他被调任韩州军事判官。有两个盗贼装成商人,说是受到旅店主人的欺负,一同跑来州衙中陈诉,其实是想挟迫杨伯雄。杨伯雄细心地觉察到他们的奸诈,便将他们抓起来审问,一起抓获了他们的同党十多人,一郡人都惊讶和敬服。又升任应奉翰林文字。当时,海陵王执政,他自以为和杨伯雄是旧相识,便吩咐他时常到自己家里走走。杨伯雄应许了但并不去。有一天,海陵王很奇怪地问他为什么,他回答说:“君子受知于人就应当以礼而进,依附于别人四处钻营,不是我平素的性格。”从此,海陵王更加厚待他。

海陵王篡位自立后,过了几个月,提升他担任右补阙,改任修起居注。海陵王急于求得国家大治,经常和他谈论到深夜。曾经问道:“国君治理天下之道,以什么为贵?”杨伯雄回答说“:贵静。”海陵王听后沉默不语。第二天,又问他说:“我迁徙了诸部猛安分别驻守边境戍镇,前夜的回答是不是认为这种做法不合乎静的?”回答说:“移兵以分驻边境,使之能够南北相互联系,这是国家长久之计。我所说的静,是指不扰民。”二更时分,又询问杨伯雄有关鬼神的事情。杨伯雄进言说“:汉文帝召见贾谊,夜半时分,向前移动坐席,不询问有关百姓的事情而问鬼神之事,后世人颇以此来讥笑他。陛下如果不认为我学识浅陋愚昧无知的话,希望能够问及治理天下的大计,鬼神之事我不曾学过。”海陵王说“:你只管随便说说,以减轻夜间的困倦罢了。”杨伯雄无可奈何,便说:“臣下家里有一卷书,里面写有人死后复活的故事。人们便问地狱中的官员,怎样给以免罪。回答说,你设一本日历,把白天所做的事情,在夜里记录下来,凡是不能写上去的就是不应当做的事情。”海陵王听后,脸色变得庄重起来。夏天时,海陵王登上瑞云楼乘凉,他让杨伯雄作诗。诗的末章写道:“六月不知蒸鰘到,清凉会与万方同。”海陵王看后很高兴,拿给身边的人看并说:“伯雄一说话就忘不了进行规劝,当臣子的就是应当这样啊!”再迁为兵部员外郎。守父丧,服终起任翰林待制,兼修起居注。迁任直学士,再改任右谏议大夫兼任著作郎,修起居注如故。

皇子慎思阿不去世,伯雄因和他一起值班的同僚私下议论而获罪受责罚,话语写在《海陵诸子传》中。海陵王商议南征江南时,杨伯雄上奏说:“晋武帝平吴时也都是任命将帅出征,何必亲自总领军队?”海陵王不听劝谏。于是,免除了他修起居注的官职,也不再召见他。

大定初年,被任命为大兴府少尹,因服母丧而离职。显宗当皇太子时,挑选东宫的属官,张浩向他推荐杨伯雄,于是在服满后被起用任少詹事。杨伯雄哥哥的儿子蟠担任左赞善,他们进谏时言听计从,当时的舆论都以此为荣。杨伯雄收集了古代的太子贤能的和不肖的事迹,写成一部书,书名叫《瑶山往鉴》,进献给朝廷。这本书和他又进献的《羽猎》、《保成》等箴言,都受到朝廷的嘉奖和采纳。又被任命为左谏议大夫、翰林直学士。正遇到太子詹事职务缺人,宰相又举荐杨伯雄担任。皇帝说“:伯雄不能离开我的身边,而东宫也需要他去辅导。”于是任命他为太子詹事兼谏议大夫。

大定六年(1166),皇帝巡幸西京,准备顺道到凉陉去避暑。杨伯雄领着谏官们一起进宫劝谏。皇帝说“:让我再慢慢考虑。”而杨伯雄仍然劝说个不停。同僚们都已经引退出去了,杨伯雄又过了很长时间才起身告退。当年到了凉陉,在巡行过程中果然出现了疏漏和失误。皇帝又回想起杨伯雄说过的话,当回宫以后,任命他为礼部尚书,并对身边的近臣们说:“群臣之中有才干有气度的人不少,但没有人像伯雄那样忠实。”皇帝又对伯雄说:“龙逄、比干都是因为忠谏而死的,如果他们能够遇到明君,怎么会这样呢!”杨伯雄回答说“:魏征愿意成为良臣,正是因为他认为自己遇到明君啊!”于是,皇帝对着宰相们说:“《尚书》上说:‘你们不要当面表示听从,离开以后又另有说法。’我和你们一起治理天下,事情可不可行,应当立即当面陈说。卿等位居卿相,正是行道扬名之时,如偷安自便,侥幸于一时,如何向后世交代?”群臣都高呼万岁。

大定十二年(1172),杨伯雄改任为沁南军节度使,又召回朝廷任翰林学士承旨。丞相石琚退休时,皇帝问他:“谁能替代你?”石琚回答说“:伯雄可以。”当时人议论都认为石琚举荐得人。朝廷又任命杨伯雄代理詹事职务。他知无不言,提出了许多匡助朝政的好见解。后来宫廷中的官员有狡诈善变的人时,人们便必定以称赞杨詹事的正直来使他羞耻。后被任命为定武军节度使,改任平阳尹。起先,张浩曾经在平阳任职,有仁政。杨伯雄当了平阳尹后,百姓们都称颂他,并说:“前有张,后有杨。”又改任河中尹。死时六十五岁,谥为庄献。他的弟弟叫伯杰和伯仁,族兄名伯渊。