Ягью Дзюбей Міцуюоші (народжений "Січірō") виріс на предкових землях своєї родини, Ягью но Сато, тепер у Нара. Він був сином Ягью Тадзіма но Камі Муненорі, майстра меча Токугава сьогунів, особливо Ієясу та Токугава Іеміцу, які цінували Муненорі як одного з його головних радників. Муненорі боровся за першого сьогуна Токугава, Токугава Ієясу, на битві при Секігахара, розширюючи територію сьогуна. За свої зусилля Муненорі було призначено інструктором з меча сьогуна та незначним даймьо або провінційним правителем. Муненорі потім тренував трьох наступних сьогунів: Ієясу, Хідетаду та Іеміцу.