La letra escarlata comienza con una introducción que funciona como marco narrativo para la historia. Allí se exponen las condiciones de escritura del texto. El narrador dice trabajar en la Aduana de la ciudad de Salem, Massachusetts. Un día, en el altillo de la Aduana, el narrador descubre varios documentos, entre ellos un manuscrito empaquetado con un parche de tela escarlata bordado en oro en forma de "A". Lo que se narra en ese manuscrito es un relato de hace doscientos años que interesa al escritor. Decide componer él mismo la historia basada en esos manuscritos.
La historia propiamente dicha comienza en Boston, colonia puritana, en el siglo XVII. Una mujer joven, Hester Prynne, está siendo trasladada desde la cárcel hacia el cadalso junto al mercado junto a su pequeña beba, Pearl. En su vestido, a la altura del corazón, hay una letra “A” bordada en terciopelo rojo. Hester está siendo castigada por adulterio. Mientras es exhibida en la tarima, se acerca a ver lo que pasa un forastero, Roger Chillingworth. Al ver a Hester de cerca la reconoce y decide visitarla en prisión. Chillingworth es su marido; dos años antes la había mandado desde Europa al Nuevo Mundo y ahora ha llegado finalmente a la ciudad para encontrarla. Le pide que confiese el nombre de su amante pero Hester se niega. A cambio, Chillingworth le pide al menos que guarde el secreto de su propia identidad.
Durante siete años Hester cría a Pearl en una cabaña cerca del bosque. Aislada de la sociedad, mantiene contacto con el pueblo y se sostiene gracias a su trabajo como costurera. Por otra parte, el reverendo Dimmesdale guarda un secreto en su pecho: es el padre de Pearl. Como líder espiritual de la congregación a la que pertenece Hester, siente una culpa muy grande en su interior. Por un lado, es responsable de consolar a sus fieles y por eso oculta su crimen; por el otro, siempre cree estar a punto de abandonarse al impulso de confesar en el púlpito. En esta tensión vive durante siete años.
Chillingworth, médico, se apega en estos años al reverendo Dimmesdale, que se encuentra enfermo. Dimmesdale no conoce la verdadera identidad de Chillingworth. Una tarde, Chillingworth descubre una marca en el pecho del hombre, que lo convence de que sus sospechas de que el reverendo era el amante de Hester son correctas.
Una noche, madre e hija vuelven caminando de la casa del moribundo gobernador Winthrop y encuentran a Dimmesdale sobre el cadalso. Ambas suben y mientras los tres están allí el cielo se ilumina con la caída de un meteoro. En el refucilo ven una "A" roja en el cielo, que el atormentado Dimmesdale interpreta como signo de su castigo. Hester se da cuenta del poder del médico sobre el reverendo, y decide revelar su identidad para salvar a Dimmesdale.
En el encuentro entre Hester y Dimmesdale se evidencia el hecho de que Pearl tiene una relación muy particular con la naturaleza. Los animales y plantas la acogen de un modo especial. La niña tiene dudas con respecto a su padre. Antes en el cadalso, y ahora en el bosque, le pregunta si la reconocerá públicamente. Dimmesdale se niega. Aun así, algo cambia en el momento en que Hester le revela la verdadera identidad de Chillingworth. Ella le propone huir al Viejo Mundo y el reverendo accede, pero luego de dar su discurso el día de la elección del Gobernador.
El día del discurso Hester se da cuenta de que Chillingworth conoce el plan de los tres para escapar en barco al otro lado del Atlántico. Dimmesdale, luego de terminar su discurso, ve a Hester y Pearl al costado del cadalso e impulsivamente sube y les dice a ambas que lo sigan. Confiesa públicamente, exhibe su pecho y muere en brazos de Hester y Pearl, que lo besa. Finalmente, la niña ha sido reconocida públicamente y una especie de hechizo se rompe: Pearl ya no es la personificación del castigo para su madre y su padre.
Frustrada su venganza, Chillingworth muere un año después y deja su fortuna a Pearl. La niña, ya mujer, se casa y vive en el Viejo Mundo. Hester vuelve a la cabaña a terminar su vida allí. Se coloca nuevamente la letra escarlata en el pecho y reanuda su trabajo de caridad. Cuando Hester muere la entierran cerca de Dimmesdale; lo suficiente como para compartir una lápida con la letra “A” inscrita.
