本文へ

プログラムからそろえた表を取る

開発中です。動きや名前が変わることがあります。

1つのPythonのファイルを取って動かすと、そろえた表がpandasの表になります。そろえるのは、そのファイルを動かす端末です。

はじめ方

Colabでは、見本のノートを開くと、上から順に動かせます(ノートを開く)。自分のノートでは、次のように書きます。

!wget -q -O datan.py https://site.data-n-jp.workers.dev/py/datan.py
import datan

datan.種類の一覧()
表 = datan.そろえて取る("aed", 地域=["21", "231002"])
datan.出典(表)
datan.CSVに保存(表, "aed.csv")

手元のPythonでは、ファイルを取ってから同じように使います。Python 3.12とpandas 2.3で確かめています。

curl -o datan.py https://site.data-n-jp.workers.dev/py/datan.py
pip install pandas pyproj

サイトのファイルをpd.read_jsonなどで直接読むときは、storage_options={"User-Agent": "DATA-N"}で名乗りを付けます。

使える道具

datan.種類の一覧()
選べる種類のid、名前、入る提供元の数、入らない提供元の数、選べる区分の表です。
datan.そろえて取る(種類, 地域=…, 区分=…, ファイル=…, 外す=…)
そろえた表を返します。地域は、都道府県の2桁と市区町村の6桁の文字の並びです。書かなければ全国です。市区町村を選ぶと、その市区町村が出した一覧と、県や国がまとめた一覧のその市区町村の行が入ります。区分、ファイル、外すは書かなくても動きます。
datan.出典(表)
提供元ごとのカタログ、ライセンス、元のページ、そろえ方のページ、行の数の表です。
datan.時点の一覧(種類, 地域=…)
提供元ごとの読めるデータの表です。新しい順に並びます。
datan.CSVに保存(表, ファイル名)
表をCSVのファイルにします。サイトの保存と同じ形です。
datan.表の説明(表)
列の名前・型・空でない行の数・値の例と出典を、短い文にします。自分のAIにコードを頼むときに、そのまま貼れます。文はどこにも送りません。

区分のある種類は、区分で選べます。

保育 = datan.そろえて取る("childcare", 地域=["21"], 区分=["保育園", "認定こども園"])

いつのデータかを選ぶ

同じ提供元が同じ表を時点を変えて出しているときは、前のデータも読めます。datan.時点の一覧で読めるデータを見て、読みたいデータの「提供元のid」と「ファイルのid」をファイル=に書きます。

一覧 = datan.時点の一覧("childcare", 地域=["212024"])
一覧  # 列「提供元のid」「時点」「行の数」「最初に読む」「ファイルのid」など

前 = datan.そろえて取る(
    "childcare",
    地域=["212024"],
    ファイル={"childcare-212024": "(列「ファイルのid」の値)"},
)

同じ地域を別の提供元も出しているとき

市区町村と県がそれぞれ出しているときは、最初から両方の行を読みます。同じ場所が重なることがあるので、部品が文で知らせます。外す=に県などの提供元を書くと、自分の一覧がある市区町村は、その一覧だけを読みます。

全部 = datan.そろえて取る("facility", 地域=["302015"])
全部.attrs["別の提供元"]  # 外せる提供元

市の分 = datan.そろえて取る("facility", 地域=["302015"], 外す=["facility-300004"])

外せる提供元は表.attrs["別の提供元"]にあります。一覧のない市区町村の行は、外しても残ります。

表の中身

使うときは

提供元とライセンスを書き、DATA-Nがそろえた(加工した)ことを書いてください(利用規約の第4条)。どれも表の列に入っています。列「位置の出どころ」が「住所から求めた」の行は、アドレス・ベース・レジストリも出典に書きます。datan.出典(表)が、その文も出します。列「ライセンス」がCC BY-SAの行を加工して出すときは、同じライセンスで出します。データの元が伝えるよう書いている注意があるときは、原文のまま出します(表.attrs["注意"])。人に渡すときは、その注意も一緒に伝えてください。

時間と取り方

提供元を1つずつ順に取ります。中継へは1分120回までの間隔で取り、元のサイトから取り直したときは次まで1秒あけます。1つの県なら1分ほど、全国の1つの種類なら10分ほどかかることがあります。取った表を手元に保存して使い回すと、待ち時間を減らせます。

取得の回数が月の上限に届くと、プログラムからの取得を翌月まで休みます。そのときは、部品が文を出して止まります。サイトの画面では今までどおり読めて、カテゴリのページから保存できます。

送る記録

datan.そろえて取るを1回動かすと、使われ方の記録を1件DATA-Nに送ります。中身は、種類、都道府県、読めた提供元の数、読めなかった提供元の数、部品の版です。前のデータを読めた提供元があれば、その提供元のidも送ります。読んだファイルと年は送りません。どのデータが使われたかを週次レポートで見せるためです(プライバシーポリシー)。送れなくても部品は止まりません。