赵延义字子英,秦州人。其曾祖省躬通晓天文,在蜀避难。父温皀,任蜀王建的司天监,经常为建预测吉凶,稍有不对,就遭斥责。温皀临死前,告诫子孙说“:数术,我一生以此为生,只是我在天下大乱时做官,因为得罪上面而几次差点送命!子孙们要靠其他办法去当官,不要依靠数术。”然而延义自幼就靠数术当上了蜀的司天监。蜀亡后,任唐的星官。

延义通晓三式,善于给人看相。契丹灭晋,延义跟契丹人一起到了镇州。李筠、白再荣谋划驱逐麻答归附汉,犹豫不决,延义借数术赞成他们行动。

周太祖从魏率兵进入京师,太祖召见延义问道:“汉这么快就灭亡,是天意吗?”延义说:“天子应该安抚天下,恩泽百姓,汉法律严酷,刑罚枉滥,天下称冤,这是它灭亡的原因!”当时,太祖正用兵围困苏逢吉、刘铢第,想灭其族,听延义一席话后猛然醒悟,就宽宏大量,二家幸免于难。延义任周的太府卿、判司天监,后因病而亡。