В 1932 году Пол работал в тюремном блоке «Е» (блоке для смертников) старшим надзирателем. Блок прозвали «Зелёная миля» по аналогии с «Последней милей», которую проходит приговорённый в последний раз. А зелёная — потому что полы в блоке были застелены светло-зелёным линолеумом.

Сам Пол вместе со своей командой проводил казни. Одна из таких подробно описывается в первых главах романа, когда команда надзирателей Мили казнила Вождя — индейца по имени Арлен Биттербак, старейшину из племени Чероки, приговорённого к смерти за убийство в пьяной драке. Арлен прошёл по Зелёной миле и сел на «Старую Замыкалку» (англ. Old Sparky) — так на Миле прозвали электрический стул.

И вот, в октябре 1932 года (как раз, когда Пол страдал воспалением мочевого пузыря) в блок попадает странный заключённый: здоровенный, абсолютно лысый негр, который производит впечатление человека не вполне нормального. В сопроводительных документах Пол узнаёт, что Джон Коффи (так звали его нового подопечного) признан виновным в изнасиловании и убийстве двух девочек-близняшек.

Где-то неделю спустя в блок «Е» прибывает Билл Уэртон — белый молодой человек отвратительного поведения, который творил бесчинства на территории штата, пока его не арестовали за грабёж и убийство шестерых человек, включая беременную женщину. Во время прибытия «Дикий Билл», как его прозвали на Миле, устраивает заварушку, чуть не убив одного из надзирателей - Дина.

После этого Джон Коффи чудесным образом излечивает Пола от недуга.

Вместе с Полом работает некий Перси Уэтмор, садист и негодяй. Перси всё время издевается над заключёнными и другими надзирателями тюрьмы, так как чувствует себя в полной безопасности: дядя Перси — губернатор штата. Особенно подвергается нападкам Перси заключённый Эдуард Делакруа́, француз, поступивший незадолго до Джона Коффи, приговорённый к смерти за то, что изнасиловал и убил женщину, и пытался сжечь её. Огонь перекинулся на здание общежития, где заживо сгорели ещё шесть человек.

У Делакруа есть приручённый мышонок, Мистер Джинглес, который сам пришёл на Милю, очень умный для мыши зверёк. Мистер Джинглес легко научился делать разные трюки, например катать по полу катушку из-под ниток.

Однажды Дикий Билл захватывает Перси и издевается над ним, его освобождают другие надзиратели, но после этого унизительного инцидента ненависть Перси к Делакруа, который смеялся над его положением, переходит границы. Мстя Делакруа, он давит мышонка сапогом. Однако, Джон Коффи возвращает Мистера Джинглеса к жизни.

Перси срывает казнь Делакруа, не намочив губку (один из контактов в электрическом стуле) в соляном растворе, из-за чего Делакруа сгорает заживо. Чувствуя свою вину, Пол (ведь именно он поставил Перси во главе казни Делакруа) решает искупить её, избавив жену начальника тюрьмы от неоперабельной злокачественной опухоли мозга, для чего с величайшими предосторожностями Джона Коффи нелегально привозят к дому начальника тюрьмы. Пол решился на это только потому, что понял, что Джон невиновен. Джон высасывает опухоль и чудесным образом сохраняет в себе её злую энергию. И, когда его, едва живого, привозят назад, Джон ловит Перси и вдыхает в него болезнь. Перси, сойдя с ума, выхватывает револьвер и всаживает шесть пуль в «Дикого Билла». Именно Билл убил тех девочек, и его настигает заслуженная кара. Сам Перси так никогда и не приходит в себя, и много лет остается в кататонии.

Пол спрашивает Джона, не хочет ли он, чтобы Пол его выпустил. Но Джон говорит, что устал от людской злобы и боли, которой в мире слишком много, и которую он чувствует вместе с теми, кто её испытывает. И что Джон сам хочет уйти. И Полу, скрепя сердце, приходится вести Джона по Зелёной миле.

Пол рассказывает всё это своей подруге в доме престарелых и показывает ей все ещё живого мышонка. Джон Коффи «заразил» их обоих жизнью, когда лечил. И если мышонок прожил так долго, то сколько же предстоит прожить ему?