后唐天成三年(928年)，张永德字抱一，出生于并州阳曲一个富饶之家。 张永德四岁时，其生母马氏被休，因而被他的祖母抚养长大，后来张永德侍奉他的继母刘氏，却能因其孝顺而闻名。
后周太祖郭威为侍卫吏时，和张永德父亲张颖友好，于是把女儿嫁给张永德。郭威为后汉枢密使时，又上表推荐张永德任供奉官押班。 后汉乾佑三年(950年)，张永德被派去赐给潞帅常遇生辰礼物。当时汉隐帝正计划除去郭威的势力，因而派人屠杀郭威的亲属，张永德此时正在潞州，听闻有密诏授予郭遇便知自己有生命之危，于是对郭遇说:"您是马上就要杀掉我了吗?我虽死无怨，唯恐连累了您的宗族。"常遇愕然:"何处此言。"张永德说道:"当今奸佞之人当政，郭公立誓为国除奸，我能于此事尽一微薄之力，大事若成便是您的功德，不成而死亦不算晚。"常遇深以为然，下令让卫士严加守卫，并厚加款待。亲自对张永德说:"您看您丈人的大事有几分胜算?"张永德回答说:"几乎是必成。"未过多长时间，郭威起兵成功，派遣使者至常遇处，常遇恭贺郭威之功并歉然道:"老夫差一些就坏了大事。"常遇便送张永德还归周太祖。
后周广顺元年(951年)，后周太祖郭威称帝后，便封他嫁给张永德的女儿为晋国公主，授张永德为左卫将军、内殿直小底四班都知、加驸马都尉、领和州刺史。广顺二年(952年)，张永德又被提拔为殿前都虞候、领恩州团练使，过了不久又迁为殿前都指挥使、泗州防御使，其时他才不过二十四岁。
后周显德元年(954年)，周世宗柴荣即位不久，北汉世祖刘崇便趁机勾结契丹联合入侵。周世宗亲征，和北汉军队战于高平，战斗还没开始多久，后周大将樊爱能、何徽方便逃窜并带着军队投降了北汉。情势危急之时，赵匡胤和张永德各自领兵两千奋力反击，张永德的部下擅长骑射，在张永德的带领下奋勇杀敌，给北汉和契丹联军以重创，结果扭转了战局，取得了高平之战的胜利，招降刘崇的军队七千余人。
军队驻扎在上党时，柴荣晚上卧于帐中，召来张永德对他说:"高平之战中投降的军队，主将不必诛杀，然而樊爱能以下的将校，我将以军法处置!"张永德答复说:"陛下如果只愿固守边疆，如此处置则可，如果是想开疆扩土、威加四海，理应重重惩戒将领的过失以整肃军纪。"周世宗闻听此言掷枕于地，大呼称善。第二天，便下令诛杀樊爱能、何徽方二将，军威大振。
后周军队在休整一番后率军围攻太原城，张永德和符彦卿、史彦超进军忻口以防备契丹援军。太原城方圆四十里，后周军队距城三百步，将城池围了两圈。从四月到六月，后周军队围困太原两月而不能克，又有契丹派来援兵，史彦超战死，周军受挫，只能班师离去。张永德因战功而授为武信军节度使，还师后又被迁为义成军节度使。
张永德的父亲张颖在做安州防御使时，因为其性格严厉，加上逼娶部下之女，因而被手下曹澄等人杀害，曹澄等人因为害怕处罚而奔逃到了南唐。