Le garçon a été poignardé sur le chemin de l'école vers 8 heures du matin (0000 GMT) mercredi par l'agresseur présumé, âgé de 44 ans, qui a été arrêté sur place, selon les autorités chinoises. Il est décédé dans les premières heures de la journée de jeudi, a déclaré à la presse la ministre japonaise des Affaires étrangères, Yoko Kamikawa.
"Je prends cet incident très au sérieux", a déclaré Mme Kamikawa.
"Cela ne devrait jamais se produire dans aucun pays. En particulier, je regrette sincèrement que cet acte méprisable ait été commis contre un enfant qui se rendait à l'école".
Le Japon a demandé à la Chine de fournir une explication détaillée des faits et de prendre des mesures de sécurité strictes, a-t-elle ajouté.
L'attaque a eu lieu près de l'école le jour de l'anniversaire d'un incident survenu en 1931 qui a déclenché la guerre entre la Chine et le Japon, une date sensible à un moment où les relations diplomatiques risquent de se détériorer.
Il s'agit de la deuxième attaque de ce type à proximité d'un établissement d'enseignement japonais en Chine au cours des derniers mois.
En juin, un homme a attaqué un bus utilisé par une école japonaise dans la ville orientale de Suzhou, entraînant la mort d'un ressortissant chinois qui tentait de protéger une mère japonaise et son enfant de l'assaillant.
Mercredi également, un porte-avions chinois a pénétré pour la première fois dans les eaux contiguës du Japon, dernière d'une série de manœuvres militaires qui ont suscité une protestation de Tokyo à Pékin.