Le Nikkei a perdu 1,23% à 31 367,578 à 0225 GMT, et a chuté à 31 260,99 pour la première fois depuis le 2 juin.
Sur les 225 composants de l'indice, 204 ont baissé, 20 ont gagné et un est resté stable.
Le Topix plus large a glissé d'environ 1%.
Le rendement de référence du Trésor à 10 ans a atteint un nouveau sommet de 16 ans au-dessus de 4,7 % dans la nuit après que le gouverneur de la Fed Michelle Bowman et le vice-président de la Fed pour la supervision Michael Barr ont réitéré le refrain des taux plus élevés pour plus longtemps lors d'événements distincts.
La hausse des rendements américains à long terme a contribué à faire tomber le yen à son plus bas niveau depuis un an, à près de 150 pour un dollar, mais cela n'a pas contribué à faire remonter les actions des exportateurs japonais.
Toyota Motor a perdu 2,1 % et Mazda 4,5 %.
"Normalement, la faiblesse du yen devrait être une raison pour que les actions augmentent, en particulier les exportateurs, car elle stimule les bénéfices à l'étranger", a déclaré Maki Sawada, stratège chez Nomura Securities.
"Mais comme le mouvement est motivé par une hausse des rendements à long terme, il pèse sur le Nikkei.
Les rendements des obligations d'État japonaises ont également atteint de nouveaux sommets, le rendement à 10 ans atteignant un sommet de 0,78 % en 10 ans.
La promesse d'une prolongation du resserrement des conditions financières a également pesé sur le pétrole brut, qui a chuté de 2 % au cours de la nuit.
En conséquence, les actions du secteur de l'énergie ont été les plus touchées, chutant de 5,14 %.
La compagnie pétrolière Inpex a été le titre Nikkei le moins performant, avec une chute de 6,22 %. JGC Holdings, une société d'ingénierie également impliquée dans le secteur pétrolier, a suivi avec une baisse de 5,15 %.
Les valeurs technologiques ont apporté un certain soulagement, aidées en partie par la surperformance du Nasdaq au cours de la nuit à Wall Street.
Les fournisseurs de services en ligne LY Corp ont augmenté de 1,21 % pour être en tête des valeurs en hausse, tandis que Recruit Holdings a augmenté de 0,81 %. (Reportage de Kevin Buckland ; Rédaction de Sohini Goswami)