郭巨所城的少千戶汪帆之請了沈明臣作塾師。余姚知縣胡宗憲因為謝家莊被雙嶼港的佛朗機夷所洗劫，帶了謝志望來郭巨了解海上夷情。胡宗憲盡管看到了官軍老弱病殘，缺少戰鬥力，但他很有信心，因為他在山東益都時曾勸降了山寇。然而人微言輕，他在郭巨禮節性地拜會了所公署和千戶府，就回余姚了。謝志望多留了幾天。他登上了郭巨所的烽堠台，看到了海上的敵我形勢，激發了他組織義軍抗倭抗寇的決心。他為了報仇從國子監退學回家，投筆從戎，在家鄉招募壯士，走上了抗倭抗海寇的道路。