蒋济年轻时与胡质及朱绩在江淮一带名闻遐迩，曾任楚国计吏，后转任扬州别驾。
建安十三年（208年），曹操大军于赤壁之战中受挫，兵力大耗。孙权围合肥，曹操无力派大军前去救援。只派张喜带千骑，领汝南部队来解围。等候个多月后仍不见援军至，蒋济秘密告诉扬州刺史，诈称得到张喜的书信，步骑四万已经到达雩娄，应派遣主簿迎接张喜援军。即写书信遣三部使让他们把这消息告诉城中守将，一部入城，另外两部被敌军捉去，孙权信以为真，急忙放火退走，合肥得以保全。
建安十四年（209年），蒋济出使谯县面见曹操，曹操为了防范孙权攻击，打算将淮南的民众内迁，便问蒋济：“昔日我于袁绍对峙于官渡，迁徙燕、白马的百姓，大家都没有逃跑，敌军也未敢掳掠。现在，我想迁徙淮南百姓，你觉得怎么样？”蒋济不同意徙民，说道：“当时我弱敌强，不迁徙必失。自从击败袁绍，北达柳城，南对江、汉，荆州臣服，威震天下，人民别无他志。但百姓怀念旧土，不乐于迁徙，若闻此事必惧怕不安。”曹操不听，仍然决定强制迁移江淮民众，结果江淮十余万百姓因为受惊吓逃到东吴境内。曹操乃因蒋济对徙民的见解而对其才能甚为欣赏，后来蒋济被使臣传到邺城，曹操见到蒋济后大笑自嘲道：“本来想让百姓们避难，结果反倒把他们全都赶跑了。”于是拜蒋济为丹阳太守。
后来，曹操以温恢为扬州刺史，再次任命蒋济扬州别驾，更下令：“虽然贤良的季子宁愿舍弃国君之位而甘心为臣，但吴国总是必须要有君主来负责治理啊。现今你再次以别驾治理扬州，我还有什么不放心的呢？”
后来，有人诬告蒋济为叛变的主谋，曹操知道了指着以前的命令对左将军于禁、沛国相封仁等说：“蒋济怎么可能会做此事！如果真有此事，那么就是我看错人了。这一定是愚民作乱，希望引发争议罢了。”后任命蒋济为丞相主簿兼西曹属，与时任丞相主簿兼东曹属的司马懿共为丞相府的属官。
建安二十四年（219年），孙权攻合肥，曹魏的诸州皆抽调兵力去扬州屯驻，刘备的荆州守将关羽趁襄樊空虚之时，围攻襄樊。于禁率领七军三万人救援襄樊，却遭遇了霖雨水灾。关羽趁机乘船俘获于禁，斩杀庞德，并围困襄阳和樊城，一时锐不可挡。曹操见许昌与近荆州，有意让汉献帝从许昌迁都。蒋济和丞相军司马司马懿却劝阻：“于禁等为水所淹没，并非战败，这点小损失并没有对国家伤筋动骨。刘备、孙权，看似很亲近，其实内心并非如此，关羽得志，这必不是孙权希望看到的。可以派人游说孙权偷袭关羽后方，再把江南割让给孙权，樊城之围自解。”曹操最后接纳，派人联络孙权。而孙权此时却主动请战，并命吕蒙袭取荆州，成功解襄樊之围。
建安二十五年（220年），曹操去世，曹丕继任魏王，蒋济任相国长史。同年曹丕称帝，蒋济出任东中郎将。蒋济请求留于朝中，上表《万机论》，曹丕称善，改任蒋济为散骑常侍。
当时征南将军夏侯尚作为皇室近亲，深得魏文帝曹丕信任，曹丕曾下诏曰：“卿腹心重将，特当任使。恩施足死，慧爱可怀。作威作福，杀人活人。”夏侯尚得到诏命有生杀予夺之权，十分得意，就把诏书给蒋济看。后来蒋济入宫觐见，曹丕问：“卿所见天下的风俗教化如何？”蒋济答：“没有什么好的风俗，只是听到亡国之语罢了。”曹丕听了很生气，问蒋济原因。蒋济说：“‘作威作福’是《尚书》中明确告诫身为臣子不应该做的，‘天子无戏言’，古时的天子下诏都十分谨慎，希望陛下明察！”于是曹丕怒意全消，急忙遣人到夏侯尚那里取回之前的诏书。
黄初三年（222年），曹丕兵分三路大举攻吴，蒋济与大将军曹仁率步骑数万负责向东线濡须口发起进攻，蒋济受命领兵向东攻取羡溪用以分散吴军，驻守濡须口的吴将朱桓中计，于是分兵驰援羡溪。曹仁随即率大军直扑濡须口。朱桓以城中仅余的五千人坚守不战。当时曹仁派其子曹泰督军攻城，另一面打算攻取朱桓的兵士妻儿所在的江中的沙州岛，蒋济知道后表示反对，认为吴军占据西岸，将战船列于上游，如果魏军进攻位于下游的沙州岛，无异于自取败亡危险。但曹仁不听，仍然命令部下进攻沙州岛，最终果然被击败，魏军临阵被溺及被斩者多达千余人。及后因有疫病而撤军。曹仁战后旋即逝世，蒋济授命为东中郎将，代领曹仁的军队。后来又被征召回朝，任为尚书。
黄初六年（225年）冬季，曹丕亲自领水陆军队到广陵，临江阅兵，向东吴炫耀武力。身为扬州人的蒋济认为水道会有阻塞，不利行军，更作《三州论》劝谏。但曹丕不听，最终战船数千都因河道结冰而停滞不能前进。有人建议将军队留在当地屯田驻守，蒋济又以当地东近大湖、北近淮河，当雨季水涨时容易被东吴军队掠夺屯田物资而反对。曹丕听从了蒋济的建议，因而撤离。这时，湖水有点枯竭，曹丕把所有的船都托付给了蒋济。战船本来排列在数百里中，蒋济让人凿了四五条河道，把船聚在了一起，预先做好土墩截断湖水，让船前后相接，湖水冲刷，将船只导入淮河中。
黄初七年（226年），曹丕驾崩，魏明帝曹叡继位，蒋济被赐爵关内侯。
太和二年（228年），东吴鄱阳太守周鲂派人送亲笔信给曹休，谎称受到吴王孙权责难，打算弃吴降魏，大司马、扬州牧曹休被其所诱，率兵进攻皖城。蒋济认为曹休这次深入东吴，与东吴精兵对抗，而且驻守上游的吴将朱然会从后袭击，建议不要出兵；但曹休还是继续前进。及后吴军在安陆一带频繁出没，蒋济见吴军虽然示形于西，实际上却有东进围歼曹休之势，又建议快派援兵援救曹休。曹叡遂令豫州刺史贾逵率所部东进与曹休合军一处。