Le panneau de droite représente l'enfer et le châtiment des péchés. L'original mesure 135 cm de haut et 45 cm de large et la copie ci-dessus la moitié de ces mesures.
L'enfer est représenté comme une ville incandescente, avec des diables en train de construire une tour, ce qui, peut-être, est une allusion à la tour de Babel de la Bible.
En 1599, le père Sigüenza émit l'hypothèse que cette construction de nouveaux logements et chambres était due au fait que l'enfer était devenu trop petit pour loger toutes les âmes et que ceux qui allaient y entrer (car, il n'y avait pas d'autre issue pour tous les personnages du panneau central) n'allaient pas y tenir.Se répètent les incendies de bâtiments, si typiques de l'oeuvre de Jérôme Bosch, étant donné que l'on peut voir des feux du même genre sur le panneau de droite du Jugement Dernier de Vienne, comme sur le panneau de droite du Jardin des Délices.
Ici, avec des tonalités rougeoyantes, ce sont des édifices incendiés on l'on voit que le feu vient d'en bas, comme si Bosch s'était inspiré des armes à poudre ou des explosifs alors nouvellement découverts, si bien que l'on dirait que cet enfer est un lieu de confrontation militaire.
