就在唐军在辽东、百济等地频繁战斗的同时,对朝鲜半岛有极大野心的日本开始渐渐浮出水面。相对于高丽、新罗、百济这三国来说,在海峡另一边的日本一直是一个特殊的存在。公元三世纪中叶,在日本形成了一个强大的部族联合政权,史称大和政权。从三世纪后半叶起,这个政权开始了大规模的统一战争,到四世纪的前半期,它不仅统治了北九州岛,而且其势力已达到关东地方。到了公元四世纪中叶,大和政权的势力终于侵入了朝鲜半岛的南端,大和政权出兵征服了当时新罗的弁韩之地(庆尚南道),建立任那地方,设“日本府”统治之。此时新兴的大和政权的实力相对于朝鲜半岛南端的新罗和百济来说是强大的,并且此时的大和政权正处于奴隶社会,朝鲜半岛南端被其视为殖民地。大和政权不断地从朝鲜半岛掠夺大量的技术人员和劳动者(奴隶),并且在朝鲜半岛南侧进行大规模的铁矿开采。对于大和的入侵新罗和百济无力抵抗,百济采取了臣服的态度,正式成为大和的属国,企图借助大和的势力对抗北方强邻高丽国,侵吞新罗国。而新罗联合了高丽与大和进行对抗,对大和的入侵势力作出了坚决的抵抗。大和的数次侵攻也在高丽的广开土王(亦称好太王)的率领下被击败,“倭寇”这个词也从此被发明出来。不过大和虽然北侵失败,但实力依然不容小窥,它在朝鲜南端的势力也破坏了当时高丽统一朝鲜半岛的进程。
在日本势力侵入朝鲜之后,日本国内也在谋求对朝鲜统治政治上的合法性,而当时东亚的唯一国际准则便是中国的官方认可,因此日本在本国在朝鲜半岛上势力达到鼎盛的“五王时代”时,不断派遣使者到中国南朝要求对朝鲜统治权力的册封,可是均没有达到预期的目的。南朝虽然对于东北亚鞭长莫及,但是也没有将百济的统治权拱手划给日本。
到了公元五世纪后半叶,日本的国力衰退,在朝鲜半岛的统治力下降。公元476年,高丽占领了百济的首都,而把百济视为属国的日本大和政府不能挽救百济的危急。新罗看到这种情况,认为日本不难对付,乃侵入日本的根据地任那。任那的一些豪族也起来反抗日本。百济也有百济的想法,企图用任那补偿它在北方因高丽侵入而丢失的领土,向日本(大王朝廷)提出了割让任那的要求。大王朝廷最后不得不于公元512年把四个县割给百济。公元六世纪,大王朝廷为了挽回势力,曾几次远征朝鲜,但均未成功。到公元562年,设在任那的日本府终于垮台,被新罗所灭。对朝鲜的无力化在日本激起了一系列的政治变乱,后来上台的圣德太子进行了建立中央集权国家的改革,并在公元600年为了恢复任那府,派兵一万征伐新罗,战争虽然胜利,但却没有取得多少实际利益。两年后日本又发兵两万五千人企图再征朝鲜,可是中途失败。此时日本国在朝鲜的势力已经是明日黄花,风光不在了。
日本当然不会就这样死心,军事力量不足那只有用政治力量来弥补,于是日本搞了一个平等外交的把戏。大业三年(607),倭王多利思比孤遣使朝贡,并附以国书,这封国书在中日关系史上非常着名,其内容很普通,不过是要派人学习佛法,可是在互相的称呼上却用了“日出处天子致书,日没处天子无恙”云云。这封国书一般被认为是日本第一次表现了要和中国展开对等外交,力图克服倭“五王时代”,接受中国册封的姿态。就当时的东北亚政治局势来看,日本方面这样做有两种考虑,首先是企图借助这种平等外交来向新罗示威,让新罗对日本也能毕恭毕敬。其次在日本看来,周边的新罗、百济都是其下的朝贡国,所以当然在对中国的态度上就不可能继续接受如同新罗、百济一般的册封。可是这种企图对于隋朝而言显然不可能被接受,历史上的中国向来都是唯我独尊、四夷朝拜,一个统一的中央帝国如果承认了与另外一个周边国家的关系是平等的,那这个国家的身份只有一种可能,就是强大的敌国,中国必欲除之而后快的敌国,汉与匈奴、唐与突厥之间的关系都是这样,这样的对等关系其实就是你死我活的关系,而日本想达到这种程度的关系在当时显然不可能,因此日本的这种举动当时就被炀帝直斥为无礼。在古代无礼这个评价可是非常严重的一个评价,在中国历史上,内臣如果无礼可以直接刑杀,外臣(属国)无礼的话下场严重点的就是被灭国了。隋文帝击突厥,隋炀帝征高丽,唐太宗平突厥、灭高昌,高仙芝灭石国,罪名中很重要的一条就是无藩臣礼。以隋炀帝的好大喜功,日本因为这封国书遭到征讨简直就是板上钉钉的事情,可是当时隋朝和高丽之间关系的紧张使得此事仅仅是炀帝不悦而已,而且隋依然在次年遣裴世清回访日本,就是为了不让与日本的关系影响到对高丽的战争行动。
日本这次的平等外交行动在历史上的影响较大,但就当时而言是彻底失败了,因为隋朝回派的使者所递交的国书当中依然将日本看做朝贡的属国,身份地位根本没有发生一点变化。
日本的企图虽然破产了,但是对朝鲜半岛的野心从来没有停止过。隋帝国收复高丽的行动虽然失败,但是新兴起来的唐帝国以更强大的实力延续了隋帝国的意志,当然绝对不允许日本对朝鲜半岛进行染指。而日本又不能正确地自我约束不断膨胀的野心,在这样的情况下中日的第一战已经不可避免。