1939年4月，八路軍第二次攻打邳縣縣城，時任支隊組織科長的謝錫玉奉命去獨立四營協(xié)助營長指揮戰(zhàn)斗。進攻打響后，八路軍從南、西、北三個方向同時發(fā)動進攻，謝錫玉親自帶隊向最難打的北門進攻，并身先士卒，率先登城，極大地鼓舞了士氣。戰(zhàn)斗很快結(jié)束，打死打傷日偽軍200余人，俘虜日敵軍300余人，繳獲許多槍支彈藥。

　　1942年冬，日軍聚集偽軍兩個師的兵力掃蕩淮北，企圖一舉摧毀淮北剛剛構建的抗日民主政權和根據(jù)地。時任新四軍四師二十六團政委的謝錫玉和團長羅應懷按照上級指示，留在淮北抗日根據(jù)地，利用運動戰(zhàn)牽制日偽軍。

　　謝錫玉帶領二十六團依靠根據(jù)地實行堅壁清野，切斷公路，阻擋日偽軍機械化部隊的前進速度，采取游擊戰(zhàn)，不時組成小分隊四處騷擾日偽軍。就在日偽軍防不勝防之際，謝錫玉又集中兵力攻打泗陽縣的青陽鎮(zhèn)，殺傷了日偽軍的有生力量，給予日偽軍一記重拳。接著又按照旅部的指示，配合外線主力，攻打日寇在泗陽縣的金鎖鎮(zhèn)的據(jù)點。

　　當二十六團急行軍趕到泗陽縣朱家崗一帶，日偽軍1500多人卻連夜提前趕到，并將二十六團主力包圍在朱家崗。面對著武器精良、物資豐富，人員數(shù)倍于我的日寇，謝錫玉和團部負責人冷靜地對地形進行了分析，謝錫玉將兵力部署在曹圩、孫崗、張莊幾個點，形成掎角之勢，既可以聯(lián)防，也可以共攻。

　　面對著武器、彈藥、人員都占絕對優(yōu)勢的日寇，我二十六團全體官兵英勇無畏、同仇敵愾，與日寇血戰(zhàn)了18個小時，擊斃日偽軍數(shù)百人，取得了朱家崗戰(zhàn)役的勝利。后來，駐守在青陽鎮(zhèn)、歸仁集、金鎖鎮(zhèn)等地的日寇紛紛撤回徐州。日偽軍對淮北抗日根據(jù)地為期33天的大“掃蕩”以敵軍的慘失敗而告終。二十六團名聲大振。

　　1943年2月，還在休整之中的二十六團又接到命令要盡快攻克洋河鎮(zhèn)，摧毀日偽軍在蘇北的重要據(jù)點和進攻我軍的重要兵力聚集地，緩解蘇北、淮海根據(jù)地的壓力。

　　謝錫玉和嚴光在詳細了解日偽的兵力部署、地形后，以及以前兄弟部隊從南面進攻常常受挫失利，而日偽軍在南面防守甚嚴的情況后，決定在凌晨時分從東北、東南方向發(fā)動猛烈攻擊新四軍。攻入鎮(zhèn)中心后，對敵軍的碉堡實施火攻，把碉堡里的敵軍燒死或窒息。經(jīng)過5個小時的戰(zhàn)斗，新四軍以較小的代價殲滅日偽軍400余人，拔掉了這個據(jù)點。陳毅在《新四軍在華中》一文中對二十六團攻無不克戰(zhàn)無不勝的作戰(zhàn)能力，以及嚴守三大紀律八項注意的作風給予了高度贊譽。