军中商议立元帅时，众人的目光大多聚焦于建宁王李倓，李泌却私下对肃宗皇帝说：“建宁王确实聪慧，但广平王是嫡长子，有为人君的气度，难道陛下想让他效仿吴太伯吗？”唐肃宗回应：“广平王已被立为了太子，何需再做元帅？”李泌分析：“若元帅立下大功，陛下不立其为君位继承人，可行吗？太子随军是抚军，留守是监国，如今元帅之位实为抚军之责。”肃宗皇帝最终采纳了他的建议。唐肃宗还是太子时，曾遭到宰相李林甫多次进谗陷害，心中积怨已久。即位后，他打算挖出李林甫的遗骸焚烧。李泌则认为，天子如果心怀旧恨，就无法向天下展示宽广胸怀，更会使叛军之人失去改过自新的念头。
唐肃宗听后有些不悦，问道：“你忘了往事吗？”李泌正色道：“臣之所虑非在此。上皇统治天下五十年，一朝失意（指玄宗逃亡四川），身处南方恶劣气候之中，且年事已高，若闻陛下记恨旧怨，必内心惭愧不乐。万一上皇因此伤感得病，即便陛下拥有天下之广，也难以安抚亲人之心。”话未说完，唐肃宗已有所感悟，下阶竟然抱住李泌的脖子痛哭道：“朕未曾想到这些。”
随后，唐肃宗向李泌询问剿灭叛军的战略，李泌根据当时形势，制定了一套围剿计划。他断定，安禄山、史思明等人是一群无宗旨的乌合之众，目的仅在抢劫，“天下大计，非所知也。不出二年，无寇矣。陛下无欲速，夫王者之师，当务万全，图久安，使无后害。”因此，他拟定战略，让朔方大将李光弼坚守太原，出井陉；郭子仪攻取冯诩，进入河东，隔断叛军四将，使其不敢南移一步。又密令郭子仪开放华阴一角，让叛军能通关中，迫使他们北守范阳、西救长安，奔波数千里，劳损精兵。而唐军则以逸待劳，剪除其弱卒。再将各路兵马齐聚扶风，与朔方军共同平叛。并命建宁王李倓为范阳节度大使，与李光弼互为犄角，以攻取范阳。叛军失去根据地，必将身死于河南诸将之手。
唐肃宗采纳了李泌的计划，后来事态发展皆如其所料。这便是李泌的“挫其锐，解其纷”的战略运用。然而，遗憾的是，唐肃宗急功近利，未能听信李泌的建议，致使河北未能彻底肃清。肃宗急于尽快收复都城长安，在郭子仪筹借到西北军大集合之际，便对李泌说：“今战必胜，攻必取，何暇千里先事范阳乎！”李泌分析：“若动用大军，急于速得两京，则贼势必将重新强盛，我们日后会再受困扰。我们有恃无恐的强大兵力，全赖碛西突骑、西北诸戎。若先取京师，约在明年春天可成功。但关东地理与气候特殊，春天早至，气候闷热，骑兵战马易生病，战士思春，亦想早日归家，不愿再辗转作战。那么，沦陷之敌又可休养士卒，整军经武，日后必复南来，此乃危险之举。”但肃宗未采纳李泌的战略意见，急于收复两京，最终出现了郭子仪借回纥兵，随广平王李豫等收复两京的一幕。
遁避衡山
自唐肃宗于灵武即位之日起，李泌便始终伴随其左右，为平定叛乱尽心尽力地出谋划策。彼时，他虽未正式担任显赫要职，却实际上“权逾宰相”。然而，正是这种与肃宗之间极为亲密且深厚的信任关系，招致了权臣崔圆、李辅国等人的深深猜忌。随着两京的顺利收复，平叛大局已基本稳定，李泌敏锐地洞察到局势的变化，便主动向唐肃宗提出请求，希望远离权力的中心，遁入衡山潜心修道。唐肃宗对他既不舍又理解，于是下诏赐予李泌三品官员的丰厚俸禄，并特赐隐士服饰，以示尊崇，同时还下令为他精心建造了一处清幽雅致的居所，供其修行之用。
入朝出朝
李泌隐居山林数载后，唐玄宗离世，随后唐肃宗亦离世，新君继位，正是当年李泌倾力保护的那位广平王李豫，即唐代宗。代宗即位伊始，即刻召李泌回朝，委以翰林学士之重任。起初，代宗安排他居住在宫中蓬莱殿书阁，随后又在长安光福里赐予他府第，并强迫他恢复食肉，甚至为他安排婚事，娶已故朔方留后李暐的外甥女为妻。然而，宰相元载却因李泌不愿依附自己，视其为潜在的威胁。恰逢江西观察使魏少游向朝廷请求派遣僚佐，元载趁机大力举荐李泌，称其才华出众，堪当此任。于是，李泌以检校秘书少监、江南西道判官的身份再次离开朝廷。不久之后，他又改任检校郎中，依旧担任判官之职。
大历十二年（777年），元载因罪被诛，唐代宗立即召回李泌，意图重用。但此次又遭到宰相常衮的忌惮，常衮多次设法将李泌外放，出任楚州刺史。李泌推辞不愿上任，唐代宗便将他留在朝中。不久，澧州出现职位空缺，常衮极力描述南方之穷困，请求让李泌前往治理，唐代宗无奈，只得任命李泌为澧、郎、峡三州团练使，后迁任杭州刺史。尽管李泌被贬至地方任职，但他所到之处皆留下卓越的政绩，尤其在杭州任上，治绩斐然。宋代诗人苏辙曾言“杭本江海之地，水泉咸苦，居民稀少”，而李泌在任时，“始引西湖水作六井，民足于水，故井邑日富”。
对于军国大事，李泌依旧心系朝廷，不远千里向代宗提出建议，代宗也必定采纳照办。皇太子李适（即后来的唐德宗）亦曾与李泌有过交往，深知其才。