董卓死後，王允在如何安排和處理他的舊部時，反覆無常，態度極不慎重，而這正是王允最後走向滅亡的最重要和最直接的原因。他先是想全部赦免董卓的部下，呂布也多次相勸，可繼而王允又對群臣解釋說:“本來，他們是沒有罪的，只是身不由己，跟隨董卓，所以不得已聽從董卓差遣，犯了錯誤。現在如果給他們突然加上惡逆的罪名，而且特定赦免他們，恐怕反而使他們猜疑恐懼，心理承受不了，所以，赦免他們無罪不是使他們安心的上上之策，還不如讓他們承受懲罰。”呂布又想把董卓的財物賞賜公卿、將校，王允又不準。王允平日卻看不起呂布，以劍客對待他。呂布也認為自己有功勞，自吹自擂，既不得意，漸漸與王允不和了。

　　涼州兵是董卓的嫡系部隊，戰鬥力強，而且對董卓最忠心。董卓死後，如何處置涼州兵，是關系王允本人和東漢政權的大事。王允企圖削奪涼州兵將領的兵權，取締全部涼州兵，並且計劃利用關東兵去控制他們。可是後來有人對王允說:“涼州兵素來害怕袁紹，畏懼關東兵，而今，如果派關東兵去解散他們，涼州兵人人都會擔心性命不保，這樣，很容易引起兵變和混亂。還不如任命皇甫嵩為將軍，去擔任涼州兵的統帥，並讓他長期留在那兒，以便安撫軍心。”王允堅決反對:“這樣絕對不行，關東兵是反董卓的義兵，與我們是同一條路線，現在董卓已死，如果繼續把他們屯駐在險惡之地，雖然安撫了涼州兵，但是關東兵將領會疑心我們不重視他們。”

　　涼州百姓聽到王允想解散涼州兵的風聲後，便到處傳言，說王允要殺掉所有涼州人，一時之間，整個涼州人心惶惶，一片驚慌。涼州兵將領本來就成了驚弓之鳥，對自己的前途深感憂慮，當他們得知王允要削奪他們的軍權，解散涼州兵的消息後，更是驚慌。絕望的涼州兵尋思:反正是一死，不如死個痛快。於是他們迅速召集軍隊，嚴陣以待，準備見機起事，並且互相傳告:蔡邕只不過受了董卓的一點厚遇而已，王允便不分青紅皂白地把他殺了。對於我們，不僅沒有絲毫赦免的意思，反而想剝奪我們的兵權，置我們於死地。我們除了聯合起來，別無選擇。

　　當時，涼州軍中最有影響和實力的將領是李傕和郭汜。他們將所有涼州兵集合起來，誓師進發都城長安。東漢官兵不堪一擊，不久，李傕、郭汜的部隊便攻陷長安。呂布慌忙領兵出逃，在青鎖門停住，招呼王允一同逃走。王允斷然拒絕，對呂布說:“如果天子祖先在天有靈，能賜福社稷，保佑我們的國家平安無事，我就心滿意足了。如果這一願不能實現，我願意獻出自己的生命，以死來報效朝廷。皇上年紀幼小，少不更事，只能靠我們來輔助他。國家遭受如此災難，如果棄下皇上，只顧自己逃命，我實在是不忍心。況且，我身為宰相，不僅不能使國家平安無事，反而導致逆賊的反叛，我的責任重大啊！請你出城以後，多多鼓勵關東豪傑，要常常念及皇上！”說完，便扶著漢獻帝逃到宣平城樓。

　　李傕、郭汜追到宣平門下，叩頭便拜。漢獻帝壯起膽子詢問道:“你們目無王法，作亂京城，到底打算作什麽?”李傕回答說:“董太師對陛下忠心耿耿，卻無緣無故遭人殺害，我們隻想替太師討回公道，不敢造反。等到捉拿處決凶手後，我們願意接受審判。”王允二話沒說，向漢獻帝行了最後的君臣大禮，便隨士兵走下了城樓，李傕、郭汜命令手下當場將王允處決，時年五十六歲。

　　李榷郭汜二人擊敗呂布，殺死王允等人，佔領長安，西涼軍閥再次把持朝廷大權。

　　帝都長安，一年之間數次遭受兵災，百姓苦不堪言，紛紛外出逃亡。