Oyama és tanítványa, Yashiro felment a Kiyosomi-hegyre. Felépítettek egy kunyhót. A kunyhóban nem volt villany és gáz. Oyama és tanítványa magával vitte a Musashi regénygyűjteményt, volt egy lándzsájuk, egy kardjuk, egy puskájuk és néhány konyhai eszközük. Talán néhány buddhista írás volt még velük.
A kezdet kemény edzéssel telt, viszont az elszigeteltség a hegyek között kezdett nyomasztóvá válni számukra. Az egyedüllét és a vadon hangjai félelmet keltettek bennük. Egyre inkább érezték a civilizáció kényelmének hiányát, bár a kezdetektől azzal foglalkoztak, hogy magukat minél inkább megkeményítsék. Az edzés reggel ötkor futással kezdődött, amit gyakran rövid vágták követtek felfelé a meredek lejtőkön. Ezután gyakorlás a fára szerelt makiwarával, minden technikát ezerszer ismételve. Délután erőfejlesztés: súlyként sziklákat használtak. Homokzsák, majd szabad küzdelem következett. Oyama jól tűrte a kemény, egyszerű életet, tanítványa viszont kevésbé. Egy éjszaka elmenekült. Oyama ettől kezdve teljesen egyedül maradt a hegyi kunyhóban. Megváltás volt, mikor barátja, Kayama havonta egyszer megérkezett az élelmiszer-utánpótlással és más szükséges dolgokkal Tateyama városából. Támogatója havonta egy ötdolláros csekket küldött, hogy fedezze költségeit. Az egyedüllét és a nehézségek arra késztették Oyamát, hogy még keményebben eddzen. A reggeli futás továbbra is folytatódott, utána az alapok gyakorlása. A délután kizárólag a karateedzés ideje volt. Ugró rúgásokat gyakorolt gyorsan növő lenbokrok fölött: ahogy a bokrok nőttek, egyre magasabbra és magasabbra kellett ugrania. Este elmélkedett és hangosan fölolvasott a buddhista írásokból. Hogy meditációi során könnyebben össze tudja fogni gondolatait, egy falra rajzolt körre koncentrált.. Már ebben az időben a kört és a pontot mint saját karatéja elvi alapját kezelte. Azt a célt tűzte ki maga elé, hogy elég erőssé váljon ahhoz, hogy képes legyen megbirkózni egy bikával, csak a puszta kezét használva. Tudta, ha ez teljesül, az meghozza a hírnevet számára.
Végül azonban ő sem bírta tovább a magányt, és kételkedni kezdett tervei sikerében. Az egyetlen valaki, akiben megbízott, barátja és mestere, Nei-Chu So volt. Oyama ezt írta neki: “Ebben a civilizált korban nem kellene ennyire primitív módon edzenem. ha lehetőségen lenne rá, sokkal hatékonyabban tudnék edzeni a városban. ” Egy hónap múlva kapta meg a választ ami nagy fontos volt számára. Mélyen felzaklatta válasz. Ráébredt mi mindenen kell keresztülmennie ahhoz, hogy jellemét és önuralmát átformálja, hogy Japán legerősebb karatekájává váljon. Bármikor, amikor újra kétségek kezdték gyötörni, újraolvasta a levelet, erőt merített a Musashiról szóló könyvből és a meditációból. A kegyetlen edzés eredményei kezdtek megmutatkozni; testileg, szellemileg erősebb lett hónapról hónapra. Önbizalma hihetetlenül megnőtt, mikor egyik este képes volt kettétörni egy követ, amivel korábban sikertelenül próbálkozott.
