プログラムからそろえた表を取る
開発中です。動きや名前が変わることがあります。
1つのPythonのファイルを取って動かすと、そろえた表がpandasの表になります。そろえるのは、そのファイルを動かす端末です。
はじめ方
Colabでは、見本のノートを開くと、上から順に動かせます(ノートを開く)。自分のノートでは、次のように書きます。
!wget -q -O datan.py https://site.data-n-jp.workers.dev/py/datan.py
import datan
datan.種類の一覧()
表 = datan.そろえて取る("aed", 地域=["21", "231002"])
datan.出典(表)
datan.CSVに保存(表, "aed.csv")手元のPythonでは、ファイルを取ってから同じように使います。Python 3.12とpandas 2.3で確かめています。
curl -o datan.py https://site.data-n-jp.workers.dev/py/datan.py
pip install pandas pyprojサイトのファイルをpd.read_jsonなどで直接読むときは、storage_options={"User-Agent": "DATA-N"}で名乗りを付けます。
使える道具
datan.種類の一覧()- 選べる種類のid、名前、入る提供元の数、入らない提供元の数、選べる区分の表です。
datan.そろえて取る(種類, 地域=…, 区分=…, ファイル=…, 外す=…)- そろえた表を返します。地域は、都道府県の2桁と市区町村の6桁の文字の並びです。書かなければ全国です。市区町村を選ぶと、その市区町村が出した一覧と、県や国がまとめた一覧のその市区町村の行が入ります。区分、ファイル、外すは書かなくても動きます。
datan.出典(表)- 提供元ごとのカタログ、ライセンス、元のページ、そろえ方のページ、行の数の表です。
datan.時点の一覧(種類, 地域=…)- 提供元ごとの読めるデータの表です。新しい順に並びます。
datan.CSVに保存(表, ファイル名)- 表をCSVのファイルにします。サイトの保存と同じ形です。
datan.表の説明(表)- 列の名前・型・空でない行の数・値の例と出典を、短い文にします。自分のAIにコードを頼むときに、そのまま貼れます。文はどこにも送りません。
区分のある種類は、区分で選べます。
保育 = datan.そろえて取る("childcare", 地域=["21"], 区分=["保育園", "認定こども園"])いつのデータかを選ぶ
同じ提供元が同じ表を時点を変えて出しているときは、前のデータも読めます。datan.時点の一覧で読めるデータを見て、読みたいデータの「提供元のid」と「ファイルのid」をファイル=に書きます。
一覧 = datan.時点の一覧("childcare", 地域=["212024"])
一覧 # 列「提供元のid」「時点」「行の数」「最初に読む」「ファイルのid」など
前 = datan.そろえて取る(
"childcare",
地域=["212024"],
ファイル={"childcare-212024": "(列「ファイルのid」の値)"},
)- 列「最初に読む」がTrueのデータは、
ファイル=を書かなくても読むデータです。 - 読めるデータが1つの提供元も1行出ます。列「ファイルのid」は空です。
- 列「行の数」はファイル全体の行の数です。分からないときは空です。市区町村を選ぶと、読む行はこの数より少なくなることがあります。
- 今のそろえ方で読めないデータは、一覧の表に入りません。時点と元のページを文で出します(
一覧.attrs["そろえ方が合わないデータ"])。 - 読んだファイルは、表の列「元のファイル名」と「元の更新日」で確かめられます。
同じ地域を別の提供元も出しているとき
市区町村と県がそれぞれ出しているときは、最初から両方の行を読みます。同じ場所が重なることがあるので、部品が文で知らせます。外す=に県などの提供元を書くと、自分の一覧がある市区町村は、その一覧だけを読みます。
全部 = datan.そろえて取る("facility", 地域=["302015"])
全部.attrs["別の提供元"] # 外せる提供元
市の分 = datan.そろえて取る("facility", 地域=["302015"], 外す=["facility-300004"])外せる提供元は表.attrs["別の提供元"]にあります。一覧のない市区町村の行は、外しても残ります。
表の中身
- 分析の画面で読む表と同じ行、同じ値です。日付はタイムスタンプ、時刻は0時からの時間で、元の書き方は「(列)_元データ」に残します。
- 行ごとに「ライセンス」「元のページ」「DATA-Nのそろえ方」の3列が付きます。
- 入るのは、DATA-Nがライセンスを確かめられた提供元です。ほかの提供元は、画面と元のページで見られます(
表.attrs["入れなかった"])。 - 今回読めなかった提供元は、理由を書いて続けます(
表.attrs["読めなかった"])。 - 市区町村コードは6桁の文字です。CSVをExcelで開くと、頭の0が消えることがあります。
datan.CSVに保存で保存すると、日付は「2026-04-01」、時刻は「08:30」の形になり、サイトの保存と同じファイルになります。pandasのto_csvでは、時刻が「0 days 08:30:00」の形になります。
使うときは
提供元とライセンスを書き、DATA-Nがそろえた(加工した)ことを書いてください(利用規約の第4条)。どれも表の列に入っています。列「位置の出どころ」が「住所から求めた」の行は、アドレス・ベース・レジストリも出典に書きます。datan.出典(表)が、その文も出します。列「ライセンス」がCC BY-SAの行を加工して出すときは、同じライセンスで出します。データの元が伝えるよう書いている注意があるときは、原文のまま出します(表.attrs["注意"])。人に渡すときは、その注意も一緒に伝えてください。
時間と取り方
提供元を1つずつ順に取ります。中継へは1分120回までの間隔で取り、元のサイトから取り直したときは次まで1秒あけます。1つの県なら1分ほど、全国の1つの種類なら10分ほどかかることがあります。取った表を手元に保存して使い回すと、待ち時間を減らせます。
取得の回数が月の上限に届くと、プログラムからの取得を翌月まで休みます。そのときは、部品が文を出して止まります。サイトの画面では今までどおり読めて、カテゴリのページから保存できます。
送る記録
datan.そろえて取るを1回動かすと、使われ方の記録を1件DATA-Nに送ります。中身は、種類、都道府県、読めた提供元の数、読めなかった提供元の数、部品の版です。前のデータを読めた提供元があれば、その提供元のidも送ります。読んだファイルと年は送りません。どのデータが使われたかを週次レポートで見せるためです(プライバシーポリシー)。送れなくても部品は止まりません。