Hans Castorp hace una pausa en sus estudios de ingeniería en Hamburgo para visitar a su primo, un oficial en formación llamado Joachim Ziemssen, que tiene tuberculosis.
Joachim está internado en el Sanatorio Berghof, situado en los Alpes suizos, cerca de Davos, en un lugar tan elevado que el aire es escaso y el canto de los pájaros es raro. La estancia de Hans debe durar tres semanas, pero Joachim advierte a su primo que el tiempo en el sanatorio no se ajusta a las expectativas de nadie.
A modo de introducción, el narrador de la novela tiene especial cuidado en describir a Hans Castorp como nada más y nada menos que un representante de la clase media, y lo describe como alguien que no es un idiota ni tampoco un genio.
Durante su estancia de tres semanas, Hans vive una experiencia que se hace eterna en el sanatorio de la montaña, mientras se aclimata a la perspectiva, la rutina y el lenguaje únicos de sus médicos y pacientes.
Los pacientes o residentes proceden de todos los rincones del mundo; su única similitud, lo que los vincula, es que están enfermos y que cada uno puede pagar su factura semanal en el sanatorio indefinidamente.
Un día, Hans inicia una serie de discusiones con un residente llamado Ludovico Settembrini, un autodenominado humanista y librepensador italiano, que ensalza las virtudes de la civilización occidental y deplora la decadencia que define la vida en el sanatorio. Hans también admira a la distancia a otra residente, una mujer rusa llamada Clavdia Chauchat.
Finalmente, Hans se contagia de una enfermedad indefinida y se une a los pacientes del sanatorio como uno más. A lo largo de los meses y luego de los años, emprende una serie de investigaciones esotéricas. Abandona la ingeniería y se dedica a la anatomía humana. Sus conversaciones con Settembrini sobre la naturaleza de la razón y el arte se intensifican. Llega a conocer a Clavdia Chauchat lo suficiente como para comprender vagamente que es una autodenominada libertina que encuentra ridículo y divertido el sentido burgués de la conformidad y el decoro de Hans.
A medida que pasa el tiempo, Hans está expuesto a diferentes puntos de vista que compiten por su atención. El opuesto intelectual de Settembrini, Leo Naphta, agasaja a Hans con una filosofía de lucha dialéctica y violencia religiosa.
Mientras tanto, Joaquín sucumbe a su enfermedad y muere. Llega al sanatorio el libertino Mynheer Peeperkorn, que representa una personalidad contundente y un exceso material y erótico que es a la vez la cúspide de la imaginación burguesa y su inverso desenfrenado. Más tarde, se suicida tras una visita en grupo a una cascada cercana.
En todo momento, Settembrini intenta reclamar la atención intelectual de Hans con el objetivo de romper con la cultura del sanatorio y conseguir que Hans vuelva a las tierras llanas a las que pertenece. Naphta y Settembrini se enzarzan en un duelo a pistola, durante el cual Naphta también se suicida.
La estancia de Hans en el sanatorio dura en total siete años. Después, regresa a la llanura para participar en la Primera Guerra Mundial, distanciado de su entorno, con el carácter enrarecido y sin sentirse más sabio que cuando empezó. El narrador sugiere que Hans muere en la guerra como tantos de su generación.