旧日本陆军的军衔分为将官、佐官、尉官、准士官、下士官和兵，计6等16级。所谓佐官即校官，准士官即准尉，下士官即军士。按照日本的称谓其16级次序为：大将、中将、少将、大佐、中佐、少佐、大尉、中尉、少尉、准尉、曹长(上士)、军曹(中士)、伍长(下士)、上等兵、一等兵。海军的军衔，根据1906年的《海军军人之名称及阶级表》(《汉泽日本海陆军制法规全编》)，分为将官、上长官(校官)、士官(尉官)、准士官(准尉)、下士(军士)和卒，计6等18级。下士官以上的等级与陆军同，而兵的等级较陆军多两级，分为一等、二等、三等、四等、五等水兵。
日本于l950年开始重建军队，至l954年建成陆、海、空三军，即陆上自卫队、海上自卫队、航空自卫队。军衔分干部、曹士两大类。
关于日军军衔的译名，目前国内有两种不同的看法：一种主张按日文原文直译过来，如大将，中佐等；一种则认为应按国际通用的军衔称谓套译，如大将译作上将，中佐译作中校，等等。
此外，一些日军高级将领还有元帅头衔。日本的元帅是授予少数陆、海军大将的一种荣誉称号，带有勋位性质，并非是一级正式军衔。获得元帅称号者的正式官衔通常为元帅+军衔，如“元帅、山县有朋陆军大将”、“元帅、东乡平八郎海军大将”。可见，它们的军衔不是元帅而是大将。日本的天皇也享有陆军大元帅头衔，同样，这也不是军衔，而是全国最高军事统帅的称号。到1945年第二次世界大战结束时，日本累计有31个被晋封为元帅，其中，陆军元帅17人，海军元帅14人。