故事的敘事者「我」是一位東京的大學生。某年暑假，他在鎌倉的海邊遇見一位中年男子，被他身上某種說不出的氣質吸引，主動接近他，從此稱他為「先生」。

回到東京後，「我」常常到先生家拜訪。先生和妻子靜住在一起，沒有工作，也幾乎不和社會往來，過著隱居般的生活。他學問淵博，卻對人保持距離。他每個月都會獨自到雜司谷的墓地，去祭拜一位已故的朋友，卻從不讓「我」陪他去，也不肯說那位朋友是誰。

先生常說一些讓「我」聽不懂的話。他說自己是一個寂寞的人；他說「戀愛是罪惡」，卻又是神聖的；他說世上沒有天生的壞人，平常都是好人，一到緊要關頭，就會突然變成壞人，所以不能大意。他也說，自己連自己都不信任，因為不信任自己，所以也無法信任別人。

先生的妻子私下告訴「我」：先生從前不是這樣的。她隱約覺得，丈夫的轉變和那位朋友的死有關，但她也不知道真相。「我」越來越想知道先生的過去。先生終於答應：等時機到了，他會把自己的過去全部告訴他。

「我」大學畢業後回到鄉下老家。父親患了腎臟病，身體一天天衰弱。這時，報紙傳來明治天皇病重、駕崩的消息。父親躺在病床上，看著報紙感嘆：天皇陛下也走了，自己恐怕也撐不久了。

父母希望兒子在東京找一份體面的工作，要他寫信請先生幫忙。「我」寫了信，先生卻遲遲沒有回音。比起家人，「我」發現自己反而和先生更親近；鄉下家人那種單純、滿足的生活，與先生那種知識分子的苦悶，形成強烈的對比。

不久，報上又登出乃木希典大將在天皇出殯之日自盡殉死的消息。接著，「我」收到先生的電報，要他到東京一趟。父親已經病危，「我」無法離開，只能回電拒絕。幾天後，一封厚厚的掛號信寄來了。「我」翻開信的最後幾頁，看見一句話：當這封信到你手上時，我大概已經不在這個世上了。「我」丟下垂死的父親，跳上前往東京的火車，在車上讀起這封信。

下篇是先生的遺書全文。先生是鄉下的獨生子，十幾歲時父母相繼過世，留下一筆可觀的遺產，由叔叔代為管理。他到東京讀大學，叔叔卻不斷勸他娶自己的女兒。後來他才發現，叔叔早已把他的財產挪用去經營失敗的生意，侵吞了大半。

先生把剩下的財產處理掉，從此和故鄉、親戚斷絕往來。這次背叛讓他對人性失去信任：連最親的叔叔都會為了錢欺騙他，世上還有誰能相信？他在東京一位軍人遺孀的家裡租了房間，那裡只有遺孀、她的女兒和一位女僕。先生對這位小姐一見鍾情，卻因為心中的猜疑，始終懷疑母女倆是不是也在算計他的財產，遲遲不敢表明心意。

先生有一位從小一起長大的朋友，叫做 K。K 是寺廟住持的兒子，被一戶醫生人家收養，養父母送他到東京學醫，他卻瞞著家人改讀宗教與哲學。事情被發現後，他被養家斷絕關係，生家也和他疏遠，生活陷入困頓。K 性格剛毅，嚴格要求自己，追求精神上的修行，常說：精神上沒有上進心的人，是笨蛋。

先生同情 K，說服房東太太讓 K 住進來，還請母女倆多和他說話，希望讓孤僻的 K 變得溫和一些。K 果然漸漸開朗起來。可是，先生看見 K 和小姐越來越親近，心中開始生出嫉妒與不安。

某年暑假，兩人一起到房總半島旅行。先生好幾次想說出自己對小姐的感情，卻始終開不了口。回到東京後不久，K 突然向先生坦白：他愛上了小姐。

先生大受打擊，卻什麼也沒說。之後，K 向他吐露內心的矛盾：他一生追求克己與修行，現在卻陷入愛情，不知道該怎麼辦。先生看準了 K 的弱點，冷冷地把 K 自己說過的話還給他：精神上沒有上進心的人，是笨蛋。K 聽了，低聲說：我是笨蛋。他陷入了沉默。

先生害怕 K 會下定決心向小姐表白，於是搶先一步，趁 K 不在時直接向房東太太請求把女兒嫁給他。房東太太很爽快地答應了。先生始終沒有勇氣告訴 K。幾天後，K 從房東太太口中得知了這門婚事，表情沒有任何變化，只說了一聲恭喜。

不久後的一個夜裡，K 用小刀割斷頸動脈自殺了。先生發現時，第一個念頭是去看 K 留下的遺書，害怕裡面寫著對自己的指責。遺書裡卻一句責怪的話也沒有，只簡單地說自己意志薄弱、前途無望，所以決定自殺，並感謝先生一直以來的照顧。最後還有一句，像是後來才補上的：早就該死了，為什麼一直活到今天呢？

先生把 K 安葬在雜司谷的墓地，從此每個月都去祭拜。半年後，他和小姐結了婚。可是 K 的死像一道陰影，永遠橫在兩人之間。他愛著妻子，卻不敢把真相告訴她，因為他不願在她純潔的記憶裡留下一點汙點。他發現，自己和那個背叛他的叔叔，其實是同一種人。他失去了對別人的信任，現在也失去了對自己的信任。

多年後，先生漸漸明白，K 的死也許不只是因為失戀，而是因為和他一樣的孤獨。他想過許多次要結束生命，只是為了妻子而一直拖延。直到明治天皇駕崩、乃木大將殉死，他覺得自己是一個活在明治精神裡的人，也該隨著那個時代一起結束了。

遺書的最後，先生請求「我」：把他的過去當作人生的教訓，但只要妻子還活著，就不要讓她知道這一切。

本書最核心的主題，是現代人的孤獨。先生說，在這個充滿自由、獨立與自我的現代，孤獨是每個人必須付出的代價。先生夾在傳統的道德與新的個人主義之間：他為了自己的愛背叛了朋友，又用傳統的方式，以死來承擔責任。

對於先生自殺的原因，評論家有不同的解讀：江藤淳認為，既是想逃離自我的痛苦，也是對明治精神的忠誠；英譯者麥克萊倫則強調，比起罪惡感，更深的是哲學意義上的孤立。年輕的「我」對先生的依戀，以及他離開垂死父親的選擇，也讓讀者看到，下一代同樣正走在疏離與孤獨的路上。

這部作品曾由市川崑、新藤兼人兩度改編成電影，也有電視劇、動畫與漫畫版本。一百多年來，它的下篇長期被選入日本高中的國語教科書，是許多日本人學生時代必讀的作品。