Le Nikkei a chuté de 0,77 % pour clôturer à 38 556,87, après avoir progressé de 0,7 % pour suivre les bonnes performances des actions américaines liées aux puces, tirées par Nvidia, le chouchou de l'intelligence artificielle.
L'indice Topix, plus large, a terminé en baisse de près de 1 % à 2 741,62.
"Le marché est devenu nerveux à cause de l'augmentation des rendements des JGB, ce qui est un vent contraire pour les valeurs de croissance lourdes", a déclaré Shoichi Arisawa, directeur général du département de recherche d'investissement chez IwaiCosmo Securities.
"Les gains des actions nationales ont été éliminés par la hausse des rendements du JGB.
Le rendement des obligations japonaises à 10 ans a atteint 1,075 %, son niveau le plus élevé depuis décembre 2011, les traders estimant qu'un resserrement de la politique de la Banque du Japon est imminent.
La hausse des rendements pourrait nuire aux valeurs de croissance dont l'attrait repose sur les flux de trésorerie futurs.
L'indice Topix des valeurs de croissance a perdu 1,1 %, tandis que l'indice des valeurs de rendement a baissé de 0,8 %.
Le fabricant d'équipements de fabrication de puces Tokyo Electron a perdu ses premiers gains pour terminer en baisse de 0,3 %. Les actions du fabricant de climatiseurs Daikin Industries ont chuté de 2,3 % et le propriétaire de la marque Uniqlo, Fast Retailing, a perdu 1,2 %.
Mitsubishi Electric a chuté de 4,5 %, le fabricant d'appareils électroménagers ayant revu à la baisse son objectif de rendement des capitaux propres, le ramenant de 10 % à 9 %.
L'opérateur de centrales nucléaires Tokyo Electric Power Holdings a chuté de 8,3 %, devenant ainsi le plus grand perdant en pourcentage du Nikkei.
Le secteur des services publics a chuté de 2,6 %, devenant le plus mauvais élève des 33 sous-indices industriels de la Bourse de Tokyo.
Le fabricant d'équipements de test de puces Advantest a augmenté de 0,8 % et SoftBank Group a gagné 2,7 %, soutenu par un gain de 7 % des actions de Nvidia au cours de la nuit. Un indice des semi-conducteurs américains a augmenté de près de 2 %.
Le secteur de l'assurance a été le plus performant, avec une hausse de 0,8 %, Sompo Holdings ayant fait un bond de 4,2 % pour devenir le plus grand gagnant en pourcentage sur le Nikkei.