公元３０４年，劉淵回到左國城，大伙兒擁戴他做大單于。他集中了五萬人馬，親自率領南下，幫助晉軍攻打鮮卑兵。有人問他，為什么不趁這個機會把晉朝滅掉，反倒去幫助晉軍呢？

　　劉淵說：“要滅掉晉朝，還不是像摧枯拉朽一樣容易，但是晉朝的百姓未必會向著我們。我看漢朝立國的年代最長，在百姓中影響大。我們的上代又是漢朝皇室的兄弟。現在漢朝亡了，我們用繼承漢朝的名義，也許可以得民心。”

　　大家聽了，覺得是一個好主意。劉淵就宣布自己是漢王。

　　劉淵稱漢王后，很快攻下了上黨、太原、河東、平原等幾個郡，勢力越來越大。一些勢力比較小的各族反晉力量也都來歸附劉淵。

　　公元３０８年，劉淵稱漢帝。第二年遷都平陽（今山西臨汾西南），集中兵力進攻洛陽。洛陽的老百姓雖然恨透腐朽的西晉王朝，但是也不愿受匈奴貴族的統治。所以劉淵兩次進攻，都遭到洛陽軍民的猛烈抵抗，不得不退兵。

　　那時候，八王中最后的一個王——東海王司馬越還在和一批大臣互相仇殺。晉朝留下的一點點兵力也消耗得差不多了。

　　后來劉淵死去，他兒子劉聰接替做漢國皇帝，又派大將劉曜、石勒進攻洛陽。洛陽的軍民奮勇抵抗，但是畢竟寡不敵眾。公元３１１年，洛陽城終于被攻陷，晉懷帝做了俘虜。

　　劉聰進洛陽后，殺了大批晉朝的官員和百姓，有一次，劉聰舉行宴會，讓晉懷帝穿著奴仆穿的青衣給大家斟酒。一些晉朝的遺臣看了，禁不住失聲痛哭。劉聰看晉朝遺臣還對懷帝這樣有感情，一發狠，就把懷帝殺了。

　　晉懷帝死后，在長安的晉國官員擁立懷帝的侄兒司馬鄴繼承皇位，這就是晉愍（音ｍǐｎ）帝。

　　公元３１６年，劉聰攻下長安。晉愍帝也遭到了懷帝同樣的命運，在受盡侮辱后被殺。西晉王朝維持了五十二年，終于滅亡。

　　西晉滅亡之后，北方的各族人民（主要是匈奴、鮮卑、羯、氐、羌五個少數民族）紛紛起義，他們中間的上層分子乘機起兵，像李雄、劉淵一樣建立政權，前前后后一共出現十六個割據政權，歷史上稱為“十六國”（舊稱五胡十六國，胡是古時候對少數民族的泛稱）。