建安元年（公元196年），孙权十五岁时任阳羡（今江苏宜兴）县长，潘璋开始跟随孙权。
潘璋天性放荡，喜欢喝酒。家中贫穷。喜欢赊账酤酒。债主上门讨债。他就说：“等我以后富贵了再还。” [2]
孙权喜欢他，让他招募士兵，得到一百多人。于是，孙权用他为将领。因为潘璋讨伐山贼战功赫赫，故而，孙权提升潘璋为别部司马。后来又担任吴郡的集市刺奸，致使盗贼绝迹，因此为人所知。
升任豫章郡西安县长。当初刘表任荆州牧时，西安县百姓常受盗贼的骚扰。自从潘璋任西安县长以来，贼寇便不敢入境侵犯，邻县建昌又有盗贼作乱，潘璋转任建昌县令，加授武猛校尉，讨伐盗贼，一个月内就把盗贼全部平定，又召集本地的散兵游勇，得到八百多人，带领他们返回建业。 [3]
建安二十年（公元215年）初，孙权攻打荆南，潘璋与吕蒙、孙皎、鲁肃各自率兵分道并进，到益阳与关羽对峙。最后刘备将荆州与孙权平分才平息事件。