耐人尋味的是，倭仁上折言事並非個人行為，他實乃代保守派陣營發聲。兩宮表態與倭仁“落馬”

三月初八，倭仁再上一折，雙方的第二回合較量由此揭開。倭仁繼續抓住恭王等人不願回答也無法回答的“夷夏大防”問題做文章。他首先指出“以誦習詩書者而奉夷為師”，等於送羊入虎口，“又安望其存心正大、盡心報國乎?”緊接著，倭仁更是拋出重磅炸彈:“夷人教習算法一事，若王大臣等果有把握使算法必能精通，機器必能巧製，中國讀書之人必不為該夷所用，該夷醜類必為中國所殲，則上可紆宵旰之憂勞，下可伸臣民之義憤，豈不甚善。如或不然，則未收實效，先失人心，又不如不行之為愈耳。”倭仁擲給恭王的是兩難選擇，應也不是，否也不能，其欲將同文館之議置於死地的意圖顯露無遺。

耐人尋味的是，倭仁上折言事並非個人行為，他實乃代保守派陣營發聲。作為保守勢力執牛耳者，倭仁一人衝鋒於激烈衝突之前台，但其背後卻有許多志同道合者作為後盾，提供對策。在同文館之爭開始不久，理學大儒吳廷棟曾致函倭仁，遙為聲援。在樞府之內，倭仁更是得到李鴻藻、翁同、徐桐等弘德殿師傅們的全力支持。

面對倭仁的又一波攻勢，地方督撫們也紛紛致函總理衙門，加以聲援，希望“朝廷堅持定見，不為浮言，則事可有成”，故恭王陣營陣腳未亂。三月十九，恭王呈上一折，以示回應。恭王抓住了倭仁原奏中“天下之大，不患無才，如以天文、算學必須講習，博采旁求必有精其術者，何必夷人”一句之破綻，吹響反攻號角。恭王講道，既然倭相折中認為天下定有精通天文算學之才，那麽想必他心中也已有了中意人選。所以還懇請朝廷命令倭仁“酌保數員，各即請擇地另設一館，由倭仁督飭，以觀厥成。若能如此辦理，更屬兩得之道，裨益非淺，彼時臣衙門原請奏辦之件，即行次第裁撤”。此建議立即得到諭旨允準。恭王成功地置死地而後生，轉守為攻，將壓力一並推倒倭仁身上。

此時倭仁已呈騎虎難下之勢。三月二十一，他無奈奏稱“並無精於天文算學之人，不敢妄保”。這預示著經過兩回合鏖戰，倭仁已無計可施，敗下陣來。此刻兩宮的立場也漸趨明朗，站在了恭王一邊。更讓倭仁難堪的是，清廷還諭令其在總理各國事務衙門行走。在保守勢力看來，“以宰相帝師之尊，兼藩署奔走之役”，簡直是奇恥大辱。倭仁自然無法接受，一再請辭，但都不得允準。兩宮如此為難倭仁，顯然有其深刻用意。經過同治四年的罷斥恭王事件，恭王的“議政王”權位被削奪，僅留軍機大臣一職。遭此重創，恭王隻得暫斂銳氣，唯兩宮懿旨是從。此時的慈禧太后正值掌權初期，尚存進取之心，一面她希冀通過舉辦新政在內實現中興大業，對外以示振作氣象，一面她也借兩派酣戰之際，繼續樹立其絕對權威。就在恭王欲倭仁鬥法之時，身處南京的曾國藩一語道破:“一女主臨禦而威斷如此，亦罕見矣。”是故慈禧不惜對倭仁予以人格羞辱和政治打擊，實有其平衡雙方政治勢力之考量。

既然兩宮的態度已經明確，倭仁的厄運也隨之降臨。二十九，其站班後上馬暈眩，墜馬受傷。朝廷也順水推舟，遂於五月十二，賞假一月，令其安心調理。六月十