推荐给主公孙策。孙策见吕蒙年纪虽小，武艺确有过人之处，便把他安排在身边作事。几年后，邓当去世，孙策授意张昭推荐吕蒙接替邓当职务，就任别部司马。

建安五年，孙策遇刺身亡，孙权接掌了江东的大权，上任后想把那些统兵较少又发挥不了多少作用的年轻将领检选出来，把他们的部下加以调整合并。吕蒙听说后，知道部队合并后，自己想有所作为，就更困难了。于是，他想办法赊来物品，为部下赶制了绛色的服装和绑腿，并加紧操练阵法。孙权检阅时，吕蒙兵马“陈列赫然，兵人练习”，孙权见后大悦，认为他治军有方。不但没有削减其部，反而增加了他的兵员，从此恩遇日隆。

孙权见吕蒙年少却能练兵，遂谓吕蒙曰：“卿今当涂掌事，不可不学！”蒙辞以军中多务。权曰：“孤岂欲卿治经为博士邪！但当涉猎，见往事耳。卿言多务，孰若孤？孤常读书，自以为大有所益。”蒙乃始就学。及鲁肃过寻阳，与蒙论议，大惊曰：“卿今者才略，非复吴下阿蒙！”蒙曰：“士别三日，即更刮目相待，大兄何见事之晚乎！”肃遂拜蒙母，结友而别。

此一段名为孙权劝学，吕蒙后来也报了孙权知遇之恩。正史中，吕蒙先随孙权讨伐黄祖，击破黄祖水军之时，获悉丹阳、豫章、庐陵三郡的山越起事作乱。孙权遂引军返回平乱，吕蒙随军征讨。吕蒙与别部司马黄盖、韩当、周泰等率兵镇守险要，各自以武力平定了本地区起事的山越族人。吕蒙因功被任命为平北都尉，兼任广德长。

建安十三年，孙权采纳将军甘宁建议，发兵进攻夏口，吕蒙随军出征。江夏郡太守黄祖下令用蒙冲战舰封锁沔口，用大棕绳系巨石为锥以固定舰位，上有千余人用弓弩交射，封锁江面，吴军进攻受阻。孙权命偏将军董袭、司马凌统各率百人敢死队，身穿重铠，乘大船冲抵蒙冲舰旁，董袭挥刀砍断棕绳，战舰顺水飘流，孙权军遂溯流而进。黄祖见孙权兵来，急派水军都督陈就率兵反击，吕蒙统率前锋部队，身先战阵，一刀将陈就斩落长江。孙权军乘胜水陆并进，包围夏口城。孙权督军猛攻，克其城，并屠之。黄祖只身逃窜，被小将冯则追斩。此战，孙权大获全胜，一举歼灭宿敌黄祖，占领江夏地区。战后论功，孙权言道：“此战功成，俱赖先斩陈就。”遂提拔吕蒙为横野中郎将，并赐钱千万。

建安十三年十月，吕蒙跟随周瑜、程普，在赤壁大破曹操，曹操引败军北归，留曹仁等驻守江陵。孙权命周瑜、程普统兵数万，与曹仁隔江相持。相持不久，周瑜欲夺取江陵，先派甘宁