Kafka en la orilla desarrolla tramas paralelas en capítulos que alternan entre la historia de Kafka Tamura, el protagonista, y la de Nakata, un hombre de sesenta años que vivió un incidente de niño que lo dejó sin la habilidad de leer y escribir. Ambas tramas van a converger en una sola línea narrativa.
La novela empieza con Kafka, un chico que huye de su casa paterna el día de su cumpleaños de quince. Para alejarse lo más posible de allí, Kafka viaja de Tokio a Takamatsu, en la isla de Shikoku. En el camino al sur, conoce a Sakura, una joven de veintitantos años. Kafka imagina que Sakura puede ser su hermana perdida, a quien no ve desde que él tenía apenas cuatro años, cuando su madre lo abandonó. En un principio, los lectores no saben por qué huye Kafka de su casa, aunque constantemente se alude a una profecía y al peso de la herencia genética. Más tarde, la profecía se hace explícita: Kafka va a matar a su padre y se acostará con su madre y con su hermana.
Paralelamente, se desarrolla la historia de Nakata, un viejo que sufre de un retraso a partir de un misterioso incidente cuando era niño. A través de una serie de documentos oficiales que recogen la investigación sobre el caso, los lectores conocen su historia. En el año 1944, un grupo de estudiantes de un pueblo rural en Japón se va de excursión a la montaña más cercana para recoger setas. En la excursión, todos los niños pierden la conciencia, pero solo Nakata permanece en ese estado por varios días, y pierde toda memoria y capacidad intelectual.
En el presente del relato, Nakata no tiene trabajo y vive de la asistencia que recibe del gobierno. Para ganar más dinero y poder darse ciertos lujos, cobra dinero por buscar mascotas perdidas. Tiene un talento especial para encontrar gatos perdidos porque ha desarrollado la capacidad de comunicarse con ellos. Su actual misión es encontrar a Goma, una gatita de un año. En sus pesquisas para encontrarla, Nakata descubre que hay un hombre misterioso que secuestra gatos. Finalmente, sus averiguaciones lo conducen a la casa de Johnnie Walker, un extraño individuo que mata gatos para tomar sus almas. Nakata mata a Johnnie Walker para salvar a los gatos e intenta entregarse a la policía por el crimen contándole a un oficial de la policía lo que hizo. No obstante, el oficial lo deja ir pensando que se trata de un loco, aunque luego se enterará de que todo lo que dijo Nakata era cierto.
Mientras, en Takamatsu, lejos de su casa en Tokio, Kafka pasa sus días leyendo en la Biblioteca Conmemorativa Komura. Allí conoce a Oshima, el recepcionista de la biblioteca, con quien comienza una amistad. Una noche, Kafka se despierta en un templo sintoísta, cubierto de sangre, y sin saber qué ha sido de él en las últimas cuatro horas. Oshima intenta ayudarlo consiguiéndole un trabajo y hospedaje en la Biblioteca Komura, y Kafka pasa a vivir en el cuarto del primogénito de la familia Komura. Kafka no sabe qué ocurrió la noche en la que se despertó cubierto de sangre, pero lee una noticia sobre la muerte de su padre en Tokio y sospecha que puede haber sido él el responsable de matarlo en sus sueños.
En su tiempo en la biblioteca, Kafka crea un vínculo con la señora Saeki, la administradora de la biblioteca. Durante las noches, el fantasma de Saeki adolescente se presenta en el cuarto de Kafka, porque esa habitación perteneció a su novio de la adolescencia. Al mismo tiempo, el vínculo entre Kafka y la señora Saeki adulta se torna sexual una noche en la que ella inicia el encuentro en un estado sonámbulo.
En paralelo, tras el asesinato Nakata deja Tokio y, en su camino, conoce a Hoshino, un camionero que lo acompaña hasta Takamatsu. El destino de su viaje es incierto: Nakata solamente sabe que está siguiendo su intuición. Una vez allí, Nakata intuye que debe buscar una “piedra de entrada”. En cuanto llegan hasta la piedra, con la ayuda de un extraño personaje llamado Colonel Sanders, Hoshino la mueve de lugar y revela un portal a otro mundo. De allí, el siguiente destino es la Biblioteca Komura. Ese portal le va a permitir a Kafka cruzar a una realidad paralela, donde consigue perdonar a su madre por haberlo abandonado.