Le Nikkei était en baisse de 0,2 % à 36 155,26 à la mi-journée après avoir augmenté de plus de 1 % après que les médias locaux aient rapporté que le premier ministre japonais Fumio Kishida quittera son poste de chef du parti au pouvoir en septembre.
L'indice Topix, plus large, était en hausse de 0,5 % à 2 565,42.
M. Kishida a confirmé ces informations lors d'une conférence de presse télévisée mercredi.
Les analystes ont déclaré que la décision de Kishida de se retirer pourrait ajouter une certaine incertitude, bien que l'impact devrait être limité.
"Son faible taux d'approbation signifie qu'une réaction négative significative des actions pourrait être évitée", a déclaré Charu Chanana, stratège du marché mondial et responsable de la stratégie de change chez Saxo.
Le marché boursier a bénéficié d'un coup de pouce après que les prix à la production aux États-Unis ont augmenté moins que prévu en juillet, ce qui a encouragé les paris sur la réduction des taux d'intérêt par la Réserve fédérale en septembre et a fait grimper Wall Street pendant la nuit.
Les actions technologiques japonaises ont suivi leurs homologues américaines à la hausse, avec des poids lourds tels que l'investisseur de startups axées sur l'intelligence artificielle SoftBank Group et le fabricant d'équipements de test de puces Advantest qui ont augmenté pour donner au Nikkei un élan considérable.
Mais ces gains se sont réduits, les investisseurs ayant bloqué leurs bénéfices, et le yen s'est renforcé au cours des échanges, ce qui a pesé sur les actions liées à l'exportation.
Les acteurs du marché attendent également les données sur les prix à la consommation aux États-Unis, prévues plus tard dans la journée de mercredi, pour confirmer le ralentissement de l'inflation dans la plus grande économie du monde.
Mais les ventes au détail et les données relatives à l'emploi prévues plus tard dans la semaine restent essentielles, a déclaré Charu Chanana de Saxo.
"Les marchés restent préoccupés par une éventuelle récession aux États-Unis et tout signe de tension chez les consommateurs pourrait faire grimper le yen et entraîner un nouveau repli des actions japonaises.
Les valeurs financières ont dominé les gains par secteur, les compagnies d'assurance ayant augmenté de 2,6 %. Les banques ont augmenté de plus de 1 %.
Parmi les actions individuelles, les constructeurs automobiles Toyota Motor et Honda Motor étaient en hausse de 2,3 % et 2,8 %, respectivement, après avoir atteint des sommets antérieurs.
Le géant des équipements de fabrication de puces Tokyo Electron, en baisse de 2,4 %, et la société mère d'Uniqlo, Fast Retailing, en perte de 0,9 %, ont été les plus gros freins à l'indice. (Reportage de Brigid Riley ; Rédaction de Subhranshu Sahu et Mrigank Dhaniwala)