段志玄是齐州临淄县人。父亲段偃师,仕隋任太原郡司法书佐。跟随高祖起兵,任官至郢州刺史。志玄姿质魁武,少时不务正业,多次触犯法令。大业末年,随父客居太原,因剽勇果决,为群恶少年畏服,受到秦王赏识。

高祖起兵时,率千余人随从,授职右领大都督府军头。随同攻下霍邑、绛郡,进攻永丰仓,都做先锋前驱。历任左光禄大夫。跟从刘文静抵御屈突通于潼关。文静遭桑显和袭击,其军即将溃败,志玄率领精骑驰赴敌阵,连杀十余人,身中流矢,忍痛不言,横击自如,敌众混乱,大军乘势进击,唐兵气势重振。屈突通败走,志玄与诸将跟踪追获于稠桑,因功多,授职为乐游府车骑将军。

随同征讨王世充,深入敌阵,因马跌倒被敌擒获。由两贼骑夹持其发髻,将渡洛河时,志玄突然踊身腾起,两骑全都落马,志玄夺其马奔回,追骑数百名不敢逼近。攻破窦建德、平定东都后,迁任秦王府右二护军。隐太子曾用金帛引诱他,而他拒绝不受。秦王即位后,历任左骁卫大将军,封为樊国公,享受实封九百户。下诏派他率兵到青海夺取吐谷浑牧马,因逗留不进,被免官。不久又复职。

文德皇后下葬时,志玄与宇文士及领兵守卫章武门。太宗夜间派遣使者到两将军处,士及开门接纳使者,志玄拒绝说“:军门不可夜开。”使者拿出手诏,志玄说:“夜里不能分辨真假。”不予接纳。

天亮后,太宗感叹道:“这才是真将军,周亚夫怎能与他相比?”后来改封为褒国公,历任镇军大将军。

贞观十六年(642)生病,太宗临视,哭着说“:应给您的儿子五品官衔。”志玄叩头道谢,并请求给予同母兄弟,太宗便拜志感为左卫郎将。到去世时,太宗哭得很伤心。赠予辅国大将军、扬州都督,陪葬于昭陵,谥为壮肃。