常衮是京兆府人,天宝末年,考中了进士。生性崇尚廉洁,不随便与人交往。

从太子正字官,升至中书舍人。文章严密华丽,擅长写诏令公文,在当时很有名望。鱼朝恩仗着皇帝宠信,兼管国子监。

常衮上奏说:“太学主持人,应任命有名的学者,不应由宦官主管。”当初,回纥助唐立有战功的人,可以留住京城,这些异族人生性骄横,后来他们建有府第、佛堂,有时在里面隐藏着军队。多次到中渭桥,和驻军争斗,把含光门的符信抢走跑到城外去。常衮上奏说“:现吐蕃在边境游弋,多次入侵,如果和他们勾结起来,趁我们没防备时动手,那祸害就大了,应早点除掉他们。”皇帝过生日,各地争着献奢华的礼品,或者设道、佛教法事来消灾求福。常衮认为“:汉文帝不接受千里马,晋武帝烧毁了用野鸡头上的毛做成的皮衣,南朝宋高祖打碎了琥珀做的枕头,这三位君主,并不是有特别的圣明治好了国家,只是严格要求自己做臣下的榜样。现各地献上的东西,都是奢侈不急用的,节度使、刺史又并非自己生产,都是从老百姓那里来的,这是搜刮老百姓来向皇上讨好,请求全还给各地。

现战乱尚未平息,京城一带户数都不到以前的十分之一,但各寺庙却抄经文、造神像、烧礼物、埋璧玉,为此赏给僧人、道士、巫师等的钱财,每年极多。皇上如用这钱来买粮草,以减轻贫穷老百姓的赋税,国家的福分就享用不尽了!”唐代宗称赞并采纳了他的话。后升任礼部侍郎。当时宦官刘忠义权力大到使全国人害怕,泾原节度使马瞞也受皇帝宠信,求他行方便,他都拒绝了。

元载死后,他被任命为门下侍郎、同中书门下平章事,又任弘文、崇文馆大学士,和杨绾一起掌权。杨绾厚道通达;常衮则苛刻琐碎,以清廉节俭自负。皇帝内心看重杨绾,故一心任用他,在礼节宠信上,常衮比不上,总是忌妒。到杨绾去世了,常衮才开始当权。

此前,群臣俸禄少,经讨论予以增加,当时韩..任度支职,和常衮都随私心处理。韩..讨厌国子司业张参,常衮讨厌太子少詹事赵..,就都少加俸禄。太子文学是太子洗马的副手,常衮亲戚任太子文学职,俸禄比太子洗马还多。他的利己招怨都和这相似。按旧规矩,每天送宫内厨房的饭菜给宰相家,每家可供十人吃,常衮上奏取消了。他又想取消政事堂的公膳,其他的宰相不同意,才算了。政事堂北门是过去宰相到舍人院咨询政务用的,常衮堵住了这门,以表示地位尊贵。鉴于元载被治罪,他禁绝了受贿卖官的路,但所有官员都按规定任用,不是中科举的都不任用,所以当时人称他为“胡涂宰相”,因为他胡里胡涂不分好歹。

常衮任宰相后,闲职只是朝议大夫,又没有爵位。郭子仪对皇帝说了,才升任银青光禄大夫,封爵河内郡公。唐德宗登基后,常衮上奏贬崔..甫任河南府少尹。皇帝后来生气了,让他和崔..甫交换官职,后又贬为潮州刺史。

建中初年,杨炎当了宰相,起用他任福建观察使。先前,福建人不知道学习,常衮去了,为他们设立学校,教他们写文章,亲自讲学指导,对他们行客人和主人平等的礼节,一起参加游览和祭神的仪式,从此风俗有了较大改变,每年经乡贡考试合格送京参加会试的人和内地各州相等。他任此职时去世,享年五十五岁。

赠官为尚书左仆射。据说后来福建人每年春秋两季把常衮的牌位放到官学接受祭祀。