邢君牙是瀛州乐寿县人。年轻时到幽蓟、平卢等军镇当兵。凭战功历任果毅、折冲郎将。安禄山反叛,跟随侯希逸渡海进入青州。田神功任兖郓节度使,派邢君牙领兵驻扎好田寺保卫边境秋收。

吐蕃侵犯京城,代宗皇帝流亡陕州,因为护驾有功,多次提升,封为河间郡公。

建中初年,李晟随马燧征讨田悦,用君牙任都将,在武安、襄国间共五次作战,斩杀的功劳最多。德宗流亡奉天,李晟率领君牙用比平常快一倍的行军速度奔赴国难。迁移驻地到渭桥,军中应办的事务,只有君牙预先有准备。李晟在凤翔,多次巡视边防,常用君牙留守凤翔。李晟回朝任职后,君牙代理凤翔观察使,不久,兼任节度使、检校尚书右仆射。吐蕃每年侵犯边境,邢君牙奖励耕种,训练军队备战,吐蕃军不能侵入边塞。又在陇州平戎川筑城,名叫永信城。

死在任上,追封为司徒。

当初,没做官的读书人张汾,没有谁介绍就去求见君牙,并高高地坐在客位上。碰到部下小官因贪污酒宴钱丢弃了账簿,君牙因被欺骗而发怒,张汾不致谢就离去,说:“我在京城,听说邢君牙是当世豪杰,今天竟为部下的小官计较钱财,这怎么说呢?”君牙觉得惭愧,很快释放了小官,把张汾待为上宾,挽留一个多月,用五百匹细绢作为赠送的礼品。他降低身份喜欢读书人到了这种程度。