董卓死後，王允在如何安排和處理他的舊部時，反覆無常，態度極不慎重，而這正是王允最後走向滅亡的最重要和最直接的原因。他先是想全部赦免董卓的部下，呂布也多次相勸，可繼而王允又對群臣解釋說:“本來，他們是沒有罪的，只是身不由己，跟隨董卓，所以不得已聽從董卓差遣，犯了錯誤。現在如果給他們突然加上惡逆的罪名，而且特定赦免他們，恐怕反而使他們猜疑恐懼，心理承受不了，所以，赦免他們無罪不是使他們安心的上上之策，還不如讓他們承受懲罰。”呂布又想把董卓的財物賞賜公卿、將校，王允又不準。王允平日卻看不起呂布，以劍客對待他。呂布也認為自己有功勞，自吹自擂，既不得意，漸漸與王允不和了。

　　涼州兵是董卓的嫡系部隊，戰鬥力強，而且對董卓最忠心。董卓死後，如何處置涼州兵，是關系王允本人和東漢政權的大事。王允企圖削奪涼州兵將領的兵權，取締全部涼州兵，並且計劃利用關東兵去控制他們。可是後來有人對王允說:“涼州兵素來害怕袁紹，畏懼關東兵，而今，如果派關東兵去解散他們，涼州兵人人都會擔心性命不保，這樣，很容易引起兵變和混亂。還不如任命皇甫嵩(字義真)為將軍，去擔任涼州兵的統帥，並讓他長期留在那兒，以便安撫軍心。”王允堅決反對:“這樣絕對不行，關東兵是反董卓的義兵，與我們是同一條路線，現在董卓已死，如果繼續把他們屯駐在險惡之地，雖然安撫了涼州兵，但是關東兵將領會疑心我們不重視他們。”

　　百姓聽到王允想解散涼州兵的風聲後，便到處傳言，說王允要殺掉所有涼州人，一時之間，整個涼州人心惶惶，一片驚慌。身在關中的涼州兵將領全都擁兵自守，並且互相傳告:“丁彥思、蔡邕只不過受了董卓的一點厚遇而已，王允便不分青紅皂白地把他殺了。對於我們，不僅沒有絲毫赦免的意思，反而想剝奪我們的兵權，置我們於死地。今天奪了兵權，明天我們也要變成魚肉了。”

　　當初，董卓的女婿中郎將牛輔屯在陝縣，又令手下校尉李傕、郭汜、張濟率領步騎數萬出兵關東，擊破朱儁。李傕等人在得知董卓被殺後，遷怒於並州人，把軍中的數百名並州人全部處死。等他們回到陝縣後，發現牛輔已死，決定散夥，於是先派人前往長安請求大赦。王允認為誅殺董卓後已經大赦過了，這一年內不能再赦，因此不許。陝縣諸將恐慌，武威人賈詡建議反攻長安，李傕深以為然，又對諸將說道:“朝廷不肯赦免，我們當被處死，那還不如與他們拚死一戰。如果攻打長安，事成則可以得到天下;不成，則搶奪三輔的婦女財物，西行隴上，回到故鄉作賊，起碼還能多活幾年。”諸將讚同李傕的方案，於是共結盟，率領數千兵馬，西攻長安。

　　王允聽說李傕起兵後，令涼州大人胡軫、楊整修前往東邊勸解，兩人表面前去，實際卻召兵而回。王允又派董卓舊部將領徐榮與胡軫在新豐迎擊李傕、郭汜。結果徐榮戰死，胡軫率眾投降。李傕沿途收集部隊，到達長安時已有十多萬人，又與董卓的舊部樊稠、李蒙等人會合，一同攻打長安，圍城八日。

　　六月一日，呂布軍中的蜀兵反叛，引李傕軍入城，漢軍崩潰，呂布戰敗出逃，在青鎖門停住，招呼王允一同逃走。王允斷然拒絕，對呂布說:“如果天子祖先在天有靈，能賜福社稷，保佑我們的國家平安無事，我就心滿意足了。如果這一願不能實現，我願意獻出自己的生命，以死來報效朝廷。皇上年紀幼小，少不更事，只能靠我們來輔助他。國家遭受如此災難，如果棄下皇上， 只顧自己逃命，我實在是不忍心。況且，我身為宰相，不僅不能使國家平安無事，反而導致逆賊的反叛，我的責任重大啊！請你出城以後，多多鼓勵關東豪傑，要常常念及皇上！”說完，便扶著漢獻帝逃到宣平城樓。

　　王允問李傕等人:“臣子不能作威作福，你們卻縱兵胡為，是想要幹什麽?”李傕回答:“董卓忠於陛下，而無故被呂布殺害。臣等為董卓報仇，不敢作逆。等事情結束後，我們自會前往廷尉處受罰。”(一說是漢獻帝問李傕，另一說王允問後李傕並未回復)於是大赦天下，拜李傕為揚武將軍，郭汜為揚烈將軍，樊稠等人皆為中郎將。李傕等人圍住門樓，共表請王允出來，又問:“太師何罪?”王允無奈，隻得下樓。

　　起先，王允提拔同郡人宋翼為左馮翊、王宏為右扶風。當時三輔地區兵多糧廣，李傕等想殺掉王允，害怕二郡為患。於是先征召宋翼、王宏。等二人都到長安後，李傕於是逮捕王允及宋翼、王宏，把他們都處以極刑。王允時年五十六歲，他的長子侍中王蓋、次子王景、王定及宗族十余人都被殺害，只有兄子王晨、王凌翻牆逃脫，回到鄉裡。

　　王允死後，漢獻帝激憤痛哭，百姓情緒低落。王允的屍體被陳於市頭，沒有人敢靠近。王允的故吏平陵令趙戩主動棄官，為王允收屍下葬。

　　遷都許縣後，漢獻帝思念王允的忠貞氣節，便改用隆重的殯禮重新安葬王允，還特意派虎賁中郎將奉旨祭悼，賜予東園秘器，送回原郡。後來，又封王允的孫子王黑為安樂亭侯，食邑三百戶。(可度)