他雖然身無一職，卻幾次換上短衣，冒險隨軍隊來到前線，觀察形勢，然後記錄下戰事的經過，分析成敗的原因，向有關官員提出破敵的方略。這些文章大都寫得比較切實，不同於一般的書生議論。

  直到嘉靖三十六年，徐渭以才名為總督東南軍務的胡宗憲所招，入其幕府掌文書。入幕之初，他為胡宗憲作《進白鹿表》，受到明世宗朱厚熜的賞識。

  自此，胡宗憲對他更為倚重，對他放任的性格，也格外優容。陶望齡《徐文長傳》記載說：徐渭常常與朋友在市井飲酒，總督府有急事找他不到，便深夜開著大門等待。有人報告胡宗憲，說徐秀才正喝得大醉，放聲叫嚷，胡宗憲反而加以稱讚。

  據說當時的胡宗憲權重威嚴，文武將吏參見時都不敢抬頭，而徐渭戴著破舊的黑頭巾，穿一身白布衣，直闖入門，縱談天下事，旁若無人。

  然而在幕府中，也有許多不如意的事。當時胡宗憲出於各種原因，與權臣嚴嵩來往甚密，而徐渭是痛惡嚴嵩的，他最親近的友人沈煉就因參劾嚴嵩而遭到殺害，但徐渭又不得不代胡宗憲寫了一些吹捧嚴嵩的文字。

  到了嘉靖四十一年，嚴嵩被免職，徐階出任內閣首輔。在徐階的策動下，胡宗憲受到參劾，並於次年被逮捕至京，徐渭也就離開了總督府。

  可誰知三年後，胡宗憲再次被逮入獄，並死於獄中，他原先的幕僚也有數人受到牽連。徐渭生性本就有些偏激，因連年應試未中，加上精神上很不愉快，此時他對胡宗憲被構陷而死深感痛心，更擔憂自己受到迫害，於是對人生徹底失望，以至發狂。

  他寫了一篇文辭憤激的《自為墓志銘》，而後拔下壁柱上的鐵釘擊入耳竅，流血如迸，醫治數月才痊愈。後又用椎擊腎囊，也未死。如此反覆發作，反覆自殺有九次之多。

  嘉靖四十五年，徐渭在又一次狂病發作中，因懷疑繼妻張氏不貞，將其殺死，他因此被關入監牢。徐渭在獄中完成《周易參同契》注釋，揣摩書畫藝術。

  徐渭被下獄後，友人紛紛予以援助，其中援助最為有力的，先是禮部侍郎諸大綬，後是翰林編修張元忭，即明末著名散文家張岱的曾祖父。

  他們都是徐渭的至交，又都是狀元出身，頗有聲望。在這些朋友的解救下，徐渭坐了七年牢，終於借明神宗朱翊鈞即位大赦之機獲釋，但此時的徐渭已經五十三歲了。

  經歷了如此多的磨難，徐渭已不再有什麽政治上的雄心，但他對國事的關注卻老而未衰。出獄後，他先在江浙一帶遊歷，登山臨水，並交結了許多詩畫之友。

  萬歷四年的夏天，徐渭年輕時代的朋友、此時已經擔負北部邊防重任的吳兌邀他北上，他便欣然前往。徐渭在宣化幕府的時間不到一年，但留下了不少描寫北地風光、民俗和軍旅生活的詩文。