瓦崗軍首領翟讓，本來是東郡的一個小吏，因為得罪了上司，被打進牢監，還被判了死罪。有個獄吏同情他，跟他說：“我看你是條好漢，怎么能在牢里等死呢。”一天夜里，獄吏偷偷地砸了鐐銬，打開牢門，把翟讓放了。

　　翟讓逃出了牢監，逃到東郡附近的瓦崗寨，招集了一些貧苦農民，組織了一支起義隊伍。當地一些青年人，聽到這個消息，都來投奔他。其中有一個青年叫徐世勣（音ｊī），年紀才十七歲，不但武藝高強，而且很有計謀。

　　徐世勣勸翟讓說：“這里附近都是貧苦的老鄉，我們不應該去打擾他們；我看滎陽一帶，來往的豪門富商很多，不如到那里去籌辦點錢糧。”

　　翟讓聽從徐世勣的意見，帶領農民軍到滎陽一帶，專門打擊官府富商，奪取大批資財。附近農民來投奔翟讓的越來越多，很快就發展到一萬多人。

　　李密投奔翟讓以后，幫助翟讓整頓人馬。那時候，附近各地還有一些小股的農民隊伍。李密到各處去聯絡，說服他們聯合起來，聽從翟讓指揮。翟讓十分高興，跟李密漸漸親近起來。

　　翟讓雖然有了很多人馬，但是他并沒想到自己能推翻隋煬帝。李密對翟讓說：“從前劉邦、項羽，本來也是普通老百姓，后來終于推翻秦朝。現在皇上昏庸暴虐，百姓怨聲載道，官軍大部分又遠在遼東。您手下兵強馬壯，要拿下東都和長安，打倒暴君，還不是輕而易舉的事！”

　　翟讓聽了很高興，說：“您的意見太好了，我倒沒想到這一點呢。”

　　接著，兩人商量了一番，決定先攻打滎陽。滎陽太守向隋煬帝告急。隋煬帝派大將張須陀帶大軍鎮壓。

　　張須陀是鎮壓農民軍的老手。翟讓曾經在他手里打過敗仗，這次聽說又是張須陀來了，有點害怕。李密說：“張須陀有勇無謀，再加上他自以為強大，驕傲輕敵。我們利用他的弱點，保管能打敗他。”

　　李密請翟讓擺開陣勢，正面迎擊敵人；他自己帶了一千人馬在滎陽大海寺北面的密林里設下埋伏。