彦谦早年就成为孤儿,不认识自己的父亲,被母亲的兄长收养。哥哥彦询颇有鉴别能力,认为彦谦天性聪明颖悟,每每对他感到惊奇,便亲自教他读书。七岁时,他已能背诵数万字的书籍,宗亲们都感到很惊异。十五岁那年,过继给叔父房子贞,侍奉继父继母像亲生父母一样。子贞怜爱他,对他抚养十分优厚。继母去世,他五天不吃不喝。对待伯父房豹,也尽心尽力。四季的时鲜果品,伯父没有吃,自己就不敢先尝。遇到丧葬,他必定蔬食素餐,恪守礼节,宗族们都效法他。以后受教于博士尹琳,手不释卷,贯通了《五经》。讲解和写作,颇有口才和文才,风度超过常人。

  十八岁那年,齐广宁王高孝珩为齐州刺史,征用他为主簿。当时,纲纪松弛,州郡的官员大多放纵自为。彦谦到任后,清静简洁,执行法度,州境之内,上下肃然,官吏百姓无不敬畏。北周的军队进入邺城,北齐君主向东逃跑,任彦谦为齐州中从事。彦谦痛惜本朝灭亡,准备召集忠义之士,暗中密谋恢复旧业,事情没有成功而停止。北齐灭亡,彦谦回到家里。周武帝宇文邕派柱国辛遵任齐州刺史,辛遵被盗贼首领辅带剑捉获。彦谦写信劝谕辅带剑,带剑畏惧惭愧,将辛遵送回齐州,各路盗贼都归顺自首。隋文帝称帝之后,房彦谦在乡里悠闲自得,发誓再也不愿做官。开皇七年(588),刺史韦艺坚持举荐他,不得已他才答应。吏部尚书卢恺一见面就很看重他,破格授予他承奉郎,不久调任监察御史。后来南陈被平定,他奉命安抚泉州、括州等十州。因完成使命颇受文帝称许,赏赐给他布帛一百匹,米一百石,衣服一套,奴婢七人。

  又迁任秦州总管录事参军。朝臣上朝时,左仆射高赹决定考核官吏们的政绩。房彦谦对高赹说“;《书经》上说三年对官吏考核一次,以提拔优异的,黜退庸劣者。唐尧、虞舜以后各代都有自己的法度,降免和提拔都能合理,表扬和批评都不缺少。于是,提拔一定能得到贤能的人,罢免的都是无才无德的小人。如果执行谬误,法规就等于虚设。看看各州的考核,执行的情况各不相同,进用和汰减的多少,数目都不一样。更何况长官对下级或爱或憎,任意凭感情用事,使得那些乖巧刁钻的人仕途却很平坦;清廉正派,孤傲耿直的,未必能够高升;卑膝献媚,刁钻取巧者,反而居于上等。真假混淆,是非颠倒。达官显要如不严格挑选,认真取舍,那些被他们提拔任命的下级官吏,就会多数是靠蒙混投机获得成功的;没有经过政府批准的,都不知道自己不被选拔的原因。另外,天下四方距离遥远,很难做到详细考核,惟有弄清人数,一半黜退,一半保留,只计算官员数量的多少,不要管他好坏的多少。想求得公允恰当,实在没有办法。您洞察幽微,公平待物,现在所考核的,一定没有受冤枉的。假如出现了前面说的那几件事,不知道您怎么处理?只希望您广泛地布置耳目,认真了解下面官吏的情况,表扬他们细小的成绩,批评他们轻微的过失,不但是非曲直分明,大道得行,而且也足能够奖励贤能清俊之士。”说时语气慷慨,引起旁观者的注目。高赹也为之动容,长长感叹赞赏。因而询问他河西、陇右一带官员的清形,彦谦声音洪亮,对答如流。高赹对各州总管、刺史说“:与你们谈话,不如单独同房彦谦谈话。”以后数日,高赹将彦谦的意见告诉给文帝,文帝竟没有采纳。

  因在秦州任职期满,他调任为长葛县令。很有惠政,百姓都称他为慈父。仁寿年间,文帝命使臣持节巡行各州县察看官吏能力的大小,认为彦谦为天下第一,提拔他为都州司马。长葛县的官吏百姓号啕大哭,互相诉说:“房明府现在离去,我们还活个什么!”以后百姓们思念他,立碑歌颂他的功德。都州长久没有刺史,州中政务都归房彦谦管理,也同样政绩卓异。内史侍郎薛道衡为一代文宗,名望清雅显著,交结的都是海内名人贤士。他十分看重房彦廉的为人,对彦谦极为友爱和敬重。道衡任襄州总管,与彦谦书信往来不断,双方的信使常常在路途上交错而过。炀帝继位,道衡又转任番州,途径彦谦的住所,留连多日,最后洒泪而别。

  黄门侍郎张衡也与房彦谦相友善。当时,炀帝正大肆营建东都洛阳,宫殿都极其华丽,令天下人大失所望。再则,汉王杨谅反叛,被牵连获罪的人很多。彦谦见张衡当政而又不能匡救时弊,便写信告诫他,说:

  “我听说奖赏可以劝善,处罚可以惩恶。所以就是对于那些地位卑贱的人,有了善事也一定给予奖赏;对于地位高,有才能的人,有了过错也一定要惩罚。不应该惩罚避开自己的亲友,奖赏遗漏了卑贱的人。现在,国家恰好承受美好的命运,天子有如百姓的父母,赏罚奖惩,是非曲直,上天都可以知道,就是处在很远的地方,皇天也能够照临,所以,应该谨慎严肃。

  “至于并州的谋反事件,须要查清辨明。如果杨谅确实因为皇帝的诏命没有传达到他那里,他考虑到国家面临危难,调集兵力,聚众起事,并不算违犯朝廷法纪,则应当体谅他的本意,再讨论对他的处罚。这样,上可以符合圣上兄弟友爱的心意,下可以解除百姓们疑惑的念头。

  “圣人认为最珍贵的东西,就是皇帝的宝座。如果上天不送给你,谁都不能轻意得到。所以像蚩尤、项籍那样骁勇善战,伊尹、霍光那样有权有势,老子、孔子那样才智绝伦,吕望、孙武那样深谙兵术,吴、楚连结,有着磐石般的屏障,都没有能够取得帝位。更何况小小的一隅,有如蜜蜂翅膀的扇动,蚂蚁的聚集,杨谅的愚笨,群小们的凶恶,想进犯京城辅地,真是妄想啊!

  “自开天辟地以来,都有文字记载。帝王的言语行迹,后人可以详细知晓。如果不积累道德和仁爱之心,为国家建丰功,为百姓谋厚利,谁能够使自己的威望让天人共知,精神感动神灵?所以,古代圣哲的帝王,黎明即起,操劳国事,兢兢业业,如履冰上,如怀抱朽烂,小心谨慎。乱世的帝王骄奢荒淫,无所畏惧,凌驾于万民之上,肆意放纵私欲,史书不可一一记载。

  “您置身朝廷,天子以大权相托,早已把你看成心腹重臣。你既然身处政治清明之世,应当心存正直,为当世立下重要的诫律,以作为后世的宪典。怎么能允许曲意顺从天子,把仁爱之心变成刑罚之举!”

  张衡收到房彦谦的书信,感动得长长地叹息,又不敢奏给炀帝知道。

  彦谦知道朝廷纲纪败坏,便辞去官职,隐居林下。准备在蒙山下建屋结庐,以遂退隐的志愿。恰逢朝廷设置司隶官,选取天下知名人士。朝廷认为他公正端方,声誉显著,众望所归,因此,任命他为司隶刺史。他也慨然有澄清天下的志向,凡是他向朝廷举荐的,都是人伦表率。如有弹劾,被纠察的人也毫无怨言。司隶别驾刘火乇欺上辱下,任意攻击别人,却自以为正直。刺史们都害怕他,见了他都恭恭敬敬下拜。惟有房彦谦对他不卑不亢,见面一揖而已。有见识的人都称赞他,刘火乇也不恼恨他。

  大业九年(613),彦谦跟随炀帝到辽东,负责监察扶余道的军事。后来,隋朝政治逐渐混乱,朝臣们大多改变节操。彦谦坚守正道,有如平常,颇为执政的权要嫉恨,将他调出京城,任泾阳县县令,死在任上。

  彦谦在家乡居住时,子侄们来问安,他常给他们讲解处世的道理,督促勉励他们一番。态度恳切勤勉,不知疲倦。家中有祖上留下的旧业,资产素来殷厚,加上他前后做官所得的俸禄,都用来接济亲戚朋友,所以家中没有多余的钱财。他乘坐的车马,穿戴的衣服,使用的家具,都务必简朴省俭。从少年到成年,一言一行,从不涉及私人的事情。虽然屡次导致钱囊羞涩,却怡然自得。曾从容独自发笑,对他的儿子房玄龄说:“别人都因俸禄致富,我却独因做官而贫困。所留给子孙的,只有清白啊!”他所写的文章,气派宏大,风格闲雅,有古人的深意。又擅长写隶字,人们如果能得到他的书信,都珍藏展玩。太原的王劭、北海的高构、..县的李纲、中山的郎茂、郎颖、河东的柳..、薛孺,都是一时著名的高雅清俊人物,彦谦都与他们结交为友。他家里虽然高朋云集,冠盖相望,而却没有一个行为卑下的客人。他举止文雅,十分通达政务,有见识的人都用行为远大赞许他。

  当初,隋文帝平定南陈之后,天下归为一统,论者都说天下将要太平。彦谦却私下里对他所亲近的赵郡人李少通说“:皇上性情疑忌峻刻,不采纳别人的建议。太子懦弱平庸,诸王在各地擅作威福。朝廷只实行苛刻严酷的政治,没有表现出恢宏远大的气魄。天下虽然安定,我却忧虑动乱就要到来。”李少通听了不以为然。等到仁寿和大业之际,他的话果然都被验证。