张玺是河北省平乡县人，青年时期以优异成绩考入河北省立第四师范学校，在校期间，他积极参加爱国学生运动，加入了共产主义青年团，担任邢台三所学校的团总支书记，成为了邢台学生运动的骨干。

　　“九一八”事变之后，全国各地掀起抗日救亡爱国群众运动，受北平学潮的影响，张玺率领邢台地区的团组织和共青团员，积极开展反抗日本侵略、查禁日货的爱国宣传活动。

　　1932年秋，张玺在邢台被捕。面对敌人的严刑拷打，张玺义正词严地坚持“抗日无罪”的坚定立场。敌人拿他没办法，不久他被押解到“北平军人反省分院”，即草岚子监狱，坐牢4年多。

　　草岚子监狱是国民党反动当局用来关押“政治犯”的临时看守所，专门关押被北平行营军法处判了刑的政治犯。他们妄图通过感化、诱降等卑劣手段，动摇在押共产党人的信仰，使他们自首叛变，出卖革命。在草岚子监狱中被押的有殷鉴、刘澜涛、安子文、张友清、杨献珍等一大批坚定的共产党员。

　　张玺入狱后遭遇的第一关，就是经受敌人劝降的考验。敌人放出风声说“家里可来人规劝”，张玺的家人闻讯前来劝说过两次，张玺坚持立场毫不动摇，同时晓之大义，说服家人把带来给他赎身的钱全部交给了党组织，作为接济难友、坚持狱中斗争和学习的费用。

　　第二关则是经受酷刑考验，在一年半的时间里，他被连续审讯3次，每次都是当面过堂，关独居监房，戴着7斤多重的镣铐，受到残酷折磨。但他抱定为革命而死，死得其所的决心，不被敌人的淫威所吓倒。由于他在狱中表现出宁死不屈、大义凛然的英雄气概，极大地鼓舞了狱中难友，在青年中享有崇高威望，1934年由共青团员转为共产党员，成为在监狱里入党的为数不多的优秀党员之一。

　　1935年春，草岚子监狱来了3个神秘人物，一个自称是“军法处的法官”，另两个说是“共产党要犯”，后来查明，这3个人是南京派来的国民党宪兵特务。他们冒充法官和犯人，打入“反省分院”内部，掌握了狱中党组织的一些情况，决定将包括张玺在内的12位狱中斗争的组织领导者和骨干处死。面对死亡，张玺和他的战友义无反顾，决心就义。此时，正值“何梅协定”签定，确定华北五省自治，国民党的势力退出北平，国民党宪兵部队仓皇南撤，张玺和这些冤中难友才幸免于难。

　　张玺在狱中坚贞不屈，表现了一个共产党人的崇高气节，得到了狱中同志的爱戴，送了他一个亲切的绰号——“小骆驼”，意指他像骆驼一样，身负重托，任劳任怨，一步一个脚印地行进在沙漠里。

　　1936年秋，张玺经中共中央北方局刘少奇等人营救出狱。根据中共中央北方局的决定，张玺被派到直鲁豫特委任宣传部部长，从事地下工作。

　　“七七”事变后，日军迅速南进，国民党部队节节败退，中华民族面临着亡国灭种的危险。受组织的派遣，张玺来到冀鲁豫边区，并成为该根据地的创始人之一。

　　1940年4月，张玺担任中共冀鲁豫区党委副书记，不久接任书记。

　　1941年4月12日，日寇在从内黄到清丰、濮阳、浚县、滑县一带的沙区(亦称黄泛区)内，开始了极其残酷的毁灭性大“扫荡”。时值春末，整个黄泛区风沙弥漫，一片昏黄。日寇以杀光、烧光、抢光的极其残忍的手段，妄图彻底摧毁沙区，将共产党领导的抗日武装力量挤走。张玺曾在自己的日记中记载日军对沙区的扫荡是“悲惨之状，目不堪睹”。

　　在残酷的斗争形势面前，张玺始终战斗在抗日第一线，带领全区军民“以牙还牙，以血还血”，以强烈的民族义愤和阶级感情，经受着抗日战争最黑暗、最艰难、最残酷和最严峻的考验。

　　在抗日战争最艰苦的日子里，晋冀鲁边区又发生了严重的旱灾，沙区尤其严重。由于长年无雨，田间几乎颗粒无收，百余万群众在死亡线上挣扎，受灾群众纷纷逃向周边的区、县。张玺首先狠抓了正规军的扩大和区、县武装的整顿，以及民兵的发展，使全区保持了一支机动灵活的打击敌人的武装力量，严防敌人在此时刻抢粮。其次，着重抓了救灾工作，发放救济粮款和其他物资，帮助群众度过灾荒，重建家园，并对乘机骚扰之土匪、反动会道门给予打击和镇压，稳定了社会秩序。在中共晋冀鲁区党委的领导下，边区人民硬是在敌人图谋毁灭的这块土地上，顽强地坚持下来了。

　　1945年8月，全国人民迎来了抗日战争的最后胜利。为适应新的形势，党中央决定，冀鲁豫划归刚成立的晋冀鲁豫中央局领导。11月，张玺任冀鲁豫边区党委书记兼军区政治委员。

　　1946年6月，国民党挑起全面内战。蒋介石以14个师、30余万人的兵力，压向冀鲁豫所属黄河南岸地区，国民党地方武装、特务和还乡团随后跟进，我黄河南岸地区形势严峻。张玺召集区党委会议研究决定，由他亲自率领独立旅插入黄河南岸敌占区，机动灵活地袭击、歼灭敌人。经过9个月的斗争，控制了黄河南岸被敌人占领的70％以上的农村地区，为刘伯承、邓小平所率野战军展开战略反攻创造了条件。

　　张玺随刘邓大军强渡黄河，动员全区军民全力支援和配合了鲁西南战役的胜利进行。同时，输送大批干部随刘邓大军挺进大别山，开辟江淮河汉新解放区。邓小平还风趣地赞扬说，冀鲁豫是个好战场，到处都有翻身农民的支援，走到哪里都有饭吃。

　　淮海战役胜利后，中原各解放区基本连成一片，原来跨省的各解放区的党的领导体制，已不能适应形势发展的需要。为加强对各省工作的统一领导，恢复和发展生产，支援大军渡江南下，完成民主改革的重大任务，中共中央决定撤销豫皖苏中央分局和豫西、鄂豫、桐柏区党委，分别成立河南、安徽、湖北省委。

　　1949年3月，中共河南省委正式成立，由李雪峰兼任书记，张玺任副书记。同年5月，张玺正式担任河南省委书记兼军区政治委员。时年37岁的张玺走马上任河南省委书记，成为当时新中国最年轻的省委书记之一（另一位是贵州省委书记苏振华，两人同为37岁）。