张公谨，早年曾效力于王世充，任洧州长史，张公谨与洧州刺史崔枢投降唐朝，被任命为邹州别驾，累迁至右武侯长史。徐圆朗反叛，攻陷楚丘，欲围攻虞城，河南道安抚大使任瑰命崔枢、张公谨，率领各州豪强作质子的子弟一百多人去守卫虞城。副使柳浚道：“崔枢和张公谨原来都是王世充的部下，各州人质的父兄也都反叛了，这一去恐怕会叛变。”任瑰没有理会，在张公谨二人的坚守下，叛军难以攻破虞城，撤军而去。
后来，张公谨在徐世勣、尉迟恭的引荐下，被秦王李世民召入秦王府。当时，李世民与太子李建成、齐王李元吉不和，向张公谨求取自保之策，张公谨的回答很合李世民的心意，从此逐渐受到器重。李世民欲诛杀李建成、李元吉，但又犹豫不决，便命人占卜以测吉凶，张公谨从外而入，将占卜的龟壳扔在地上，并道：“占卜是为决定疑难之事，现在事情并无疑难，还占卜什么？如果占卜的结果不吉，难道能够停止行动吗？”李世民深表赞同。
张公谨与长孙无忌等九人埋伏在玄武门外，发动了玄武门之变，李建成、李元吉死后，其党羽冯立、薛万彻、谢叔方等人率军赶到玄武门，欲为太子和齐王报仇。张公谨勇力过人，独自关闭大门，将冯立等人挡在门外，冯立等人最终溃散，张公谨升为左武侯将军，封定远郡公。
张公谨出任代州都督，并上表朝廷请求实行屯田，张公谨对时政得失多次进言，都得到唐太宗李世民的采纳。张公谨上奏朝廷，认为可以讨伐东突厥，并列举六条理由：“颉利可汗奢华残暴，诛杀忠良，亲近奸佞，此其一；薛延陀等部落均已叛离，此其二；突利、拓设、欲谷设均得罪颉利，无地自容，此其三；塞北地区经历霜冻干旱，粮食匿乏，此其四；颉利疏离族人，委重任于外族，胡人反复无常，大唐军队一到，必然内部纷乱，此其五；汉人早年到北方避乱，至此时人数较多，近来听说他们召聚武装，占据险要之地，大军出塞，自然内部响应，此其六。”唐太宗遂任命兵部尚书李靖为行军总管，讨伐东突厥，张公谨为副总管。
颉利兵败，遣使请降，唐太宗命鸿胪寺卿唐俭前去抚慰，李靖与李勣在白道会军，打算出兵偷袭东突厥，张公谨得知后，反对道：“皇帝已接受他们投降，而且唐俭还在突厥，怎能出兵进攻？”李靖不听，发兵出击，终于平定了东突厥。
东突厥平定后，张公谨进封邹国公，改任襄州都督，病逝于任上，年仅三十九岁，追赠左骁卫大将军，谥号为襄。唐太宗追思张公谨旧功，改封他为郯国公。张公谨去世后，唐太宗欲到郊外致哀，有司奏道：“按照《阴阳书》的说法，辰日不宜哭泣，这是风俗。”唐太宗道：“君主与臣子就像父子一样，哀痛哭泣是感情自然流露，怎么能避忌日呢？”于是，痛哭了一场。
本章结束