权军队的数十人和两名将领，并于阵中大呼自己的名号，然后突击冲入重垒，直至孙权麾旗之下。孙权见状大惊，东吴军将手足无措，不知所为，只得走登于高丘之上，用长戟自卫。张辽见敌军退避，便叱喝孙权，挑衅他下来对战，但孙权没有轻举妄动，随后孙权现张辽所率领的士兵非常少，于是聚拢士兵将张辽包围。张辽在吴阵中左冲右突围，率领麾下数十人得以突出重围。但阵中仍然有没突围出来的将士，他们向张辽大喊呼道：“将军舍弃我们了吗！”张辽又杀入重围，救出被围困的众人。孙权人马皆望风披靡，没有人敢抵挡张辽。江东名将陈武也在此战中被击杀。

从早晨战至日中，吴军锐气为张辽所夺，曹军此时还城修业进行守备，众心方才安定下来，诸将对张辽所为均表示叹服。孙权攻打合肥十馀日，始终攻不下来，于是还军退师，张辽率诸军乘势追击，几乎捉住孙权。曹操闻此，对张辽的表现大加赞许，并拜张辽为征东将军。

建安二十一年，曹操再征孙权。军到合肥，曹操循行视察昔日张辽作战的地方，赞叹良久。于是给张辽增兵，多留诸军徙屯居巢。

建安二十二年，曹操攻濡须口，孙权请降，留夏侯惇、曹仁、张辽等屯居巢。

建安二十四年，关羽围曹仁于樊城，适时孙权称藩于魏，为了让孙权安心攻打荆州，于是曹操召张辽及诸军悉数回救曹仁。张辽尚未到达，徐晃已经打败关羽。张辽便与曹操会师摩陂，曹操乘车出来慰劳他，并派他屯于陈郡。

建安二十五年，曹操去世，曹丕即位魏王，改迁张辽为前将军，分封其兄张汛及一子列侯。不久孙权再叛变，张辽还屯合肥，并进爵都乡侯。曹丕赐舆车予其母以示荣宠，并派兵马送其家人到他驻军的地方，又预先在当地告示张辽家人将要到临，命令所有守军出迎，众军士将吏都列队出候拜迎张辽家人，看见此景的人均认为这是十分荣耀的事。同年，曹丕称帝，再封张辽为晋阳侯，增邑千户，并前二千六百户。

黄初二年，张辽到洛阳皇宫朝拜，曹丕便引张辽会晤于建始殿，亲问其昔日破吴时的情状。张辽述说过后，曹丕向左右叹息道：“简直是古代的召虎啊。”于是为张辽建造屋舍，替其母兴建殿室，当年跟从张辽突破吴军阵营、临时应募的一众步卒，都被封虎贲。

黄初三年，孙权再次向曹魏称臣。张辽奉命还屯雍丘，却在此得病。曹丕遣侍中刘晔带著太医审视其疾，并令虎贲卫士们往来传达张辽病况，为张辽问病的使者经常在路上互相遇见。

张辽之疾久未痊愈，曹丕