驻豫军官团在开封受训期间 ， 张灵甫遇到了军旅生涯中的第一位伯乐——国民党元老于右任 。 于右任欣赏张灵甫的才学 ， 推荐他南下投考黄埔 ， 张灵甫自然欣然前往 。 值得一提的是 ， 后来成为毛泽东、周恩来、刘少奇、朱德等中共中央领导俄文翻译的师哲当时也在开封 ， 与张灵甫关系似乎还不错 。 据师哲回忆：“五卅惨案的发生又一次增强了我入伍的决心 。 我的一师的同学张灵甫也到了开封 ， 他找到了于右任先生 ， 由于老先生介绍准备到广州投考黄埔 。 他邀我一起南下 。 ”

后来的发展很顺利 ， 张灵甫于1925年考入黄埔军校第四期 ， 入伍后的第二个月以学员身份参加第二次东征战役 ， 于惠州城担任戍卫工作 。 1926年3月 ， 入伍训练结束 ， 张灵甫被编入第四期步兵军官预备团第2连（不久后改称第四期步兵第2团） 。 值得一说的是 ， 当时国共合作已出现裂痕 ， 黄埔军校内左右倾轧相当严重 ， 由于后来张灵甫的形象脸谱化 ， 不少所谓传记便说其在黄埔军校期间就极其“反动顽固” ， 备受蒋介石青睐等等 。 实际上无论在“青年军人联合会”还是“孙文主义学会”的名单中 ， 都找不到张灵甫之名 。 无论是当时的一手档案 ， 还是亲历者的回忆 ， 没有任何迹象显示张灵甫热衷于政治活动 ， 也没有任何关于张灵甫在军校期间表现活跃的史料 。 当时激烈的左右斗争 ， 张灵甫更大的可能是选择沉默 。 这么一个小透明学生也不可能引起日理万机的校长蒋介石的注意 。