衡州石鼓書院，距離渣江八十裡路，是與嵩陽書院、白鹿洞書院、嶽麓書院並稱中國四大書院，素有“衡湘洙泗”“道南正脈”之譽。書院建於湘江邊上的一個一個狹長的山岩地帶，地處衡州府城北蒸、湘、耒三水匯聚的石鼓山上，這石鼓山地理位置險要，正處在湘江、蒸水、耒水三江交匯之處，而且是，像神龜的頭伸向浩浩江波之中。它始建於唐元和五年，有著千裡的歷史積澱，是湖湘文化重要發源地之一，被徐霞客讚譽稱“石鼓書院兼具滕王閣、黃鶴樓名勝之優越”。

　　彭玉麟從天明上路，走到黃昏才到石鼓山邊，沿著山岩開鑿出來的石階又走了半個時辰，，豁然看到石鼓書院的山門，山門兩側懸掛有一副門聯曰:“修名千佛上，至味五經中”，意在告誡眾生，要想把自己的思想修養達到很高的境界，必須熟讀《四書五經》，這副內涵深刻的對聯，讓每一個學子細細品味，因登山趕路或者世路繁雜而浮起的心，很快沉靜下來。玉麟扣門，拿出錄取書，在看門的大爺的帶領下去拜見石鼓書院山長張少衡先生。晚上被安排在東廂房歇息，東廂房的宿舍裡面擺著有一張大通鋪，可臥十二人。

　　第二天，彭玉麟新入學的門下生在張少衡先生帶領下去拜了武侯祠、李忠節公祠、七賢祠，做完入門的禮儀，白天在敬業堂聽先生講學，院佔地十余畝，房屋數十間，除了武侯祠、李忠節公祠、七賢祠，還有大觀樓、敬業堂、合江亭等建築，遠離鬧市，環境清幽，不聞波濤拍岸，但聽書聲朗朗。

　　石鼓書院山長張少衡是湖湘一帶最有名的學者之一，博學能文，尤精經史，曾在各地任過知府，為官勤於政事，清正恤民，辭官歸裡後，潛心治經講學，研究學問，於《易》、《詩》、《春秋》皆有著述。善詩古文辭，聞名海內，其文雄偉離奇，居“湖湘五大家”之一。他講學不拘泥於經書，而是強調格物致知，學以致用。他見彭玉麟每日早起鍛煉，大聲朗誦，專心聽講有悟性，遂收他為門下弟子。

　　在石鼓書院讀書的日子裡，彭玉麟跟著張先生讀書，眼界大開，學問也有了精進。除了學習四書五經，他還仔細專研了父親留下的《公瑾水戰法》和《武備志》、《孫子兵法》等書，書院書庫裡的地理圖志，也有涉獵，重點查閱了湘、皖省各地山川地形。對於同樣刻苦求學、心志堅定、志同道合的同窗傾心結交。

　　讀書艱辛，求學的日子是枯燥的，除了剛來有一段時間的新鮮，在漫長的求學生涯中，是需要堅強的內心和強大的意志的。要能不時從書中獲得樂趣和成就感，離學成的日子也就不遠了。在深夜裡，他也時常想起遠在懷寧的小梅姑。每個月寫兩封信回去，一封寄給母親，一封寄給外婆和小梅姑。小梅姑也不時有信和鞋子寄過來給他。弟弟彭玉麒在鐵匠鋪跟著師傅打鐵，平時打犁耙農具，有時也打一些刀斧。身體長得很壯實了，越做越有勁，漸漸的不想讀書了，現在書也不讀了，一門心思專門打鐵打兵器，他想效仿歐治子、乾將莫邪鑄出絕世名劍。玉麟知道弟弟是想讓他讀書，他在家裡照看母親和支撐家業。

　　想到弟弟這麽小年紀去賺錢，他這個哥哥反而安心讀書，他心裡反覆權衡，決定接受這份好意，既來之，則安之。他早上起來先練習父親叫他們的長拳健身，再讀半個時辰書，接著去幫先生清掃辦公房，備好開水，他知道先生每日講完都會口乾舌燥。先生也經常指點他做文章，寫八股。等到三月杏花布滿街道的時節，彭玉麟去參加衡州府裡的府學考試，鞭炮聲聲放榜日，榜首處寫的幾個名字裡面就有彭玉麟，他如願考中了秀才。

　　為了減輕家裡的負擔，他決定自己湊集去省裡參加鄉試的路費，有空就去衡州府街頭賣字，凡是書信、對聯、帳簿、狀紙等用得著的他都寫，有人笑話他，他就說:“讀書認字，本來就是要用的嘛，寫字種田都為了溫飽。”，或者回復說“這是學以致用，先生教的。”同窗楊子森看他手頭拮據，謀生心切，遂邀他到自己家的當鋪幫忙管帳，閑暇是還可以一起切磋學問。彭玉麟感念楊子森的豪爽仗義，也交楊子森寫文章布局謀篇的方法。兩人惺惺相惜，成了莫逆之交。

　　第一次參加鄉試沒有考中，他去了一趟安慶府收拾舊居，看望外婆，順便見見小梅姑。