主条目:日本行政区划
日本政府自1947年根据《地方自治法》将全国分成47个一级行政区,称为“都道府县”,分别为一都、一道、二府、四十三县。47个都道府县如下: 北海道地方:北海道 东北地方:青森县、岩手县、宫城县、秋田县、山形县、福岛县 关东地方:茨城县、栃木县、群马县、埼玉县、千叶县、东京都、神奈川县 中部地方:山梨县、长野县、新潟县、岐阜县、静冈县、爱知县、富山县、石川县、福井县 近畿地方:三重县、滋贺县、京都府、大阪府、兵库县、奈良县、和歌山县 中国地方:鸟取县、岛根县、冈山县、广岛县、山口县 四国地方:德岛县、香川县、爱媛县、高知县 九州地方:福冈县、佐贺县、长崎县、熊本县、大分县、宫崎县、鹿儿岛县 冲绳地方:冲绳县 都道府县以下,是称作“基础的地方公共团体”的市、町、村。“市”的人口及工业化规模比“町”大,而都道府县要设置町亦有一定人口及工业化要求,“村”则没有此限。市、町、村均直接隶属都道府县,地位平等,没有互相隶属或领导关系。在最近数年,因实施了市町村合并,日本的市町村数量大幅减少。
1956年起,都道府县的市可以设置“政令指定都市”。政令指定都市人口超过50万,在经济和工业运作上具有高度重要性。政令指定都市虽然隶属道、府、县的管辖,但部分行政事务则改为接受中央政府直接指导,亦享有更高的自治权及财政来源。政令指定都市可以内设“区”,以便自治行政。截止到2011年4月1日,日本全国共有19个政令指定都市。
1996年起,都道府县的市可以设置“中核市”。中核市人口必须达30万,比一般的市拥有更高自治权力,但不及政令指定都市。截至2011年,日本全国共有41个中核市。2000年起,都道府县的市可以设置“特例市”。特例市人口必须达20万,比一般的市拥有更高自治权力,但不及中核市。截至2006年,日本全国共有40个特例市。
东京都并未设有任何政令指定都市、中核市及特例市。东京都东部、濒临东京湾人口最密集的地域划为23个特别区。特别区虽然和其他市、町、村一样,是具有自治权的地方公共团体,而且各区人口也将近政令指定都市,但自来水、污水、消防等公共服务则不会自行处理,改由东京都政府直接安排执行。
日本过去曾经设置名为郡的地方行政机关,阶级为都道府县以下、町村以上。1920年代起,郡制已经废除,现在只用作概括描述行政区域或是书写地址之用,并无实际行政用途。
另外,部分都道府县会在市町村之上设置支厅。支厅不是地方公共团体,没有自治权,地址亦不会提及。支厅只用于协助都道府县政府于偏远或离岛地区执行行政事务。日本的支厅过去主要集中在面积最大的北海道,然而在2010年,北海道所有的支厅均被废除,改设综合振兴局或振兴局。目前,只有山形县、东京都管辖的多个太平洋离岛与鹿儿岛县的一些离岛设有支厅。
日本的全国可划分为八大地区,分别为北海道、东北地方、关东地方、中部地方、近畿地方(又称关西地方)、中国地方、四国地方和九州地方。这些地域并无官方行政地位,不过是把日本划分为数大区域的常见方法,常见于地理书籍分册、交通安排、民间习惯及商业机构等。除了这种划分方法之外,还有其他的划分方法,例如将中部地方分为东海地方和北陆地方,中国地方分为山阳地方和山阴地方等。