x

Zählen mit Overpass Turbo für Wochenaufgaben


  1. Zählen mit Overpass Turbo für Wochenaufgaben · TheFive (Gast) · 24.09.2014 21:17 · [flux]

    Nach der Aufgabe mit der Adressstatistik und dem User:gehrke Support habe ich immer drüber nachgedacht, wie einfach ohne Datenbank eine Auswertung nach Landkreisen mit der Overpass gemacht werden kann. (bin auch parallel darauf angesprochen worden).

    Habe ein unreifes Zwischenergebnis (Beta auf dem Mac), das ich hier gerne teilen möchte.

    Datei QueryOSM.tmpl (Beinhaltet die overpassabfrage, die lediglich IDs zum Count ausgibt, #REGIO# wird durch den Regionalsschlüssel o.ä ersetzt.

    area["de:regionalschluessel"=#REGIO#];
    (node(area)[amenity=pharmacy];
    way(area)[amenity=pharmacy];
    rel(area)[amenity=pharmacy]);
    out␣ids;
    

    Datei GetData.sh (Das eigentliche Script)

    #␣Überschrift␣für␣die␣CSV␣Datei␣schreiben
    echo␣"Regionalschluessel;Anzahl"␣>␣out.erg
    
    #␣regiolist.txt␣Datei␣mit␣allen␣angefragten␣Regionalschlüsseln␣öffnen
    
    cat␣regiolist.txt␣|␣while␣read␣line
    do
    
    #␣Overpass␣Template␣Datei␣Regionalschlüssel␣durch␣aktuellen␣ersetzen
    sed␣'s/'#REGIO#'/'$line'/g'␣QueryOSM.tmpl␣>Query.osm
    #Abfrage␣der␣Overpass␣mit␣curl
    curl␣-o␣target.osm␣-d␣@Query.osm␣"http://overpass-api.de/api/interpreter"
    #␣Ausgabe␣des␣Regionalschlüssels␣mit␣;
    echo␣-n␣"$line;"␣>>out.erg
    #␣Und␣die␣Anzahl␣der␣IDs␣hinterher.
    grep␣-c␣"id"␣target.osm␣>>out.erg
    
    done
    

    dann noch die unspektakuläre Datei regiolist.txt (Auszug, vollständige Listen einfach aus der WA3334 zusammen"klauben")

    055150000000
    05762
    020000000000
    081110000000
    06531
    06440
    095630000000
    03353
    08415
    08216
    08116
    06633
    05554
    06439
    08315
    

    Zum installieren alles in einen Ordner packen und das GetData.sh ausführen.
    Ich gehe davon aus, das das auf Linux auch 1:1 läuft (da der Mac kein standardmässig kein wget hat, habe ich curl genommen).
    Was unter Windows zu installieren ist, damit man das Script laufenlassen kann, weiss ich leider nicht.

    Christoph
    P.S. was gezählt wird, verrate ich nicht :-)


    • Re: Zählen mit Overpass Turbo für Wochenaufgaben · TheFive (Gast) · 24.09.2014 21:19 · [flux]

      P.S.
      Danke an Roland und den Bonner Stammtisch für den coolen Overpass Workshop gestern in Königswinter.


    • Re: Zählen mit Overpass Turbo für Wochenaufgaben · TheFive (Gast) · 24.09.2014 21:54 · [flux]

    • Re: Zählen mit Overpass Turbo für Wochenaufgaben · MHohmann (Gast) · 24.09.2014 22:39 · [flux]

      Kommt zu der Abfrage noch ein "Zu Risiken und Nebenwirkungen..."? 😉


    • Re: Zählen mit Overpass Turbo für Wochenaufgaben · TheFive (Gast) · 25.09.2014 07:09 · [flux]

      MHohmann wrote:

      "Zu Risiken und Nebenwirkungen..."?

      Ja,

      Zu Risiken und Nebenwirkungen im Falle komplexer parallelisierter(1) Overpass Abfragen fragen sie das Oracle, oder geben bitte einen anderen Server an :-)

      (1), die hier präsentierte Beta Version ist nicht parallelisiert, ist aber bestimmt nicht schwer.


    • Re: Zählen mit Overpass Turbo für Wochenaufgaben · couchmapper (Gast) · 25.09.2014 07:13 · [flux]

      Das wird nix. Limit ist eine gleichzeitige Abfrage pro IP-Adresse. Jede weitere Abfrage hängt erstmal in der Warteschleife rum bzw. wird sogar nach Timeout abgebrochen.

      Guckst du hier: https://lists.openstreetmap.org/piperma … 06414.html


    • Re: Zählen mit Overpass Turbo für Wochenaufgaben · TheFive (Gast) · 25.09.2014 08:17 · [flux]

      macht Sinn....


    • Re: Zählen mit Overpass Turbo für Wochenaufgaben · couchmapper (Gast) · 25.09.2014 19:14 · [flux]

      TheFive wrote:

      Danke an Roland und den Bonner Stammtisch für den coolen Overpass Workshop gestern in Königswinter.

      Script und Folien sind übrigens auch online verfügbar. Vielen Dank dafür!!

      Ich kann jedem, der sich bisher nicht ans Thema getraut hat, nur empfehlen, da mal reinzuschauen und die Beispiele auszuprobieren. Es lohnt sich!

      Link: http://wiki.openstreetmap.org/wiki/Talk … staltungen


    • Re: Zählen mit Overpass Turbo für Wochenaufgaben · TheFive (Gast) · 03.12.2014 08:56 · [flux]

      Cross Referenced from Adressstatistik:

      couchmapper wrote:

      Mal was sehr experimentelles für Zwischendurch: http://overpass-turbo.eu/s/6kN 😎


    • Re: Zählen mit Overpass Turbo für Wochenaufgaben · hurdygurdyman (Gast) · 05.12.2014 14:24 · [flux]

      Vielleicht kann mir, dem absoluten Programiersprachen-Nichtkenner, hier jemand helfen. Die Beispiele der Wiki haben mir leider nicht geholfen 🙁
      Ich wollte mal nach der Wochenaufgabe "Richtungsspuren" auswerten, wieviele turn:lanes, turn:lanes:forward und turn:lanes:backward pro Landkreis erfasst sind. Für die Bundesländer hatte ich sowas schon mal jeweils einzeln gemacht.
      Rauskommen soll dann irgendeine mit Tabellenkalkulation weiter verwertbare Datei, in der die Landkreise untereinander mit der jeweiligen Anzahl der turn:lanes, turn:lanes:forward und turn:lanes:backward in den Spalten daneben stehen.


    • Re: Zählen mit Overpass Turbo für Wochenaufgaben · Netzwolf (Gast) · 06.12.2014 19:21 · [flux]

      Nahmd,

      hurdygurdyman wrote:

      Ich wollte mal nach der Wochenaufgabe "Richtungsspuren" auswerten, wieviele turn:lanes, turn:lanes:forward und turn:lanes:backward pro Landkreis erfasst sind.

      Rauskommen soll dann irgendeine mit Tabellenkalkulation weiter verwertbare Datei, in der die Landkreise untereinander mit der jeweiligen Anzahl der turn:lanes, turn:lanes:forward und turn:lanes:backward in den Spalten daneben stehen.

      Ich hab eine Auswertung für alle Admin-Boundaries bis Level 8 in der Deutschland-BBOX laufen lassen mit diesem Ergebnis (dito bis Level 12. Die Dateien sind UTF-8 codiert und Tab getrennt; sie sollten sich in ein Spredsheet einlesen lassen.

      Vergleiche bitte so möglich mit Daten aus anderer Quelle; ich habe ein Programm genutzt, das für einen gänzlich anderen Zweck gedacht ist, (Denk-)Fehler sind da nicht ausgeschlossen.

      Gruß Wolf

      Edit: Link geändert und Level 12 ergänzt.


    • Re: Zählen mit Overpass Turbo für Wochenaufgaben · TheFive (Gast) · 06.12.2014 22:48 · [flux]

      Kurze Frage zum Regionalschlüssel in Deutschland im allgemeinen und im OSM im speziellen.

      Die Regionalschlüssel bilden ja einen Baum (über die ersten identischen Stellen)
      Ist nun die überdeckte Fläche aller Blätter eines Astes gleich der überdeckten Fläche des Astes ?

      Dann könnte ich mich in meinem kleine Overpass Zählprojekt(*) einfach auf die Blätter "fokussieren", und bräuchte mich nicht um die unterschiedlichen admin_level zu kümmern. Addieren geht nachher auch einfacher.

      Christoph

      (Zählprojekt Early Pre Alpha: http://thefive.sabic.uberspace.de/nodej … drWOStreet, uptime nicht garantiert, hier noch mit WA3334 Daten.)


    • Re: Zählen mit Overpass Turbo für Wochenaufgaben · Harald Hartmann (Gast) · 07.12.2014 10:00 · [flux]

      TheFive wrote:

      Zählprojekt Early Pre Alpha

      Für die anderen gleich vorweg, Christoph wird vermutlich nichts dafür können, dass in der Bundesländerliste dann so seltsame Städe wie Halle, Schwerin und Co. auftreten ... ohne geguckt zu haben nehme ich an, dass dort der Regioschlüssel wohl nicht ganz korrekt ist?!


    • Re: Zählen mit Overpass Turbo für Wochenaufgaben · TheFive (Gast) · 07.12.2014 10:05 · [flux]

      Harald Hartmann wrote:

      , Christoph wird vermutlich nichts dafür können,

      Ist vermutlich ein nicht ganz "Klares" UX.

      Wenn du auf "Bundesländer" Klickst, wird die Schlüssellänge auf 2 gesetzt.

      Er addiert dann alle Zählwerte der Schlüssel die in den ersten beiden Stellen gleich sind, und sucht sich den richtigen Namen dazu (mit OSM Daten).

      Funzt auch mit einer Schlüssellänge von 3 (ich habe das mal mit "middle" bezeichnet, da mir nichts eingefallen ist), mit einer Schlüssellänge von 4 (bitte in den Parametern in der URL einstellen) und mit einer maximalen Schlüssellänge (Detail).

      Beim Gruppieren auf der Zeitachse wird nicht addiert, sondern der letzte Wert in der Periode genommen.

      Christoph

      edit: Und die Zahl in den Klammern hinter den Namen ist der admin_level aus der DB.


    • Re: Zählen mit Overpass Turbo für Wochenaufgaben · hurdygurdyman (Gast) · 08.12.2014 06:41 · [flux]

      Netzwolf wrote:

      Nahmd,
      ...
      Ich hab eine Auswertung für alle Admin-Boundaries in der Deutschland-BBOX laufen lassen mit diesem Ergebnis. Die Datei ist UTF-8 codiert und Tab getrennt und sollte sich in ein Spredsheet einlesen lassen.

      Vergleiche bitte so möglich mit Daten aus anderer Quelle; ich habe ein Programm genutzt, das für einen gänzlich anderen Zweck gedacht ist, (Denk-)Fehler sind da nicht ausgeschlossen.
      ...

      Danke dafür. Ich werde mir das mal nachher genau anschauen. Wäre hier auf dem Smartphone etwas umständlich. Gegenchecks für einzelne Kreise mache ich mit dem Overpass-turbo als Stichproben.


    • Re: Zählen mit Overpass Turbo für Wochenaufgaben · hurdygurdyman (Gast) · 08.12.2014 08:38 · [flux]

      hurdygurdyman wrote:

      Netzwolf wrote:

      Nahmd,
      ...Ich hab eine Auswertung für alle Admin-Boundaries in der Deutschland-BBOX laufen lassen...

      ...Ich werde mir das mal nachher genau anschauen...

      Funzt und Check der Plausibilität mit einigen Kreisen war positiv 🙂


    • Re: Zählen mit Overpass Turbo für Wochenaufgaben · Gehrke (Gast) · 08.12.2014 09:44 · [flux]

      TheFive wrote:

      Die Regionalschlüssel bilden ja einen Baum (über die ersten identischen Stellen)
      Ist nun die überdeckte Fläche aller Blätter eines Astes gleich der überdeckten Fläche des Astes ?

      Dann könnte ich mich in meinem kleine Overpass Zählprojekt(*) einfach auf die Blätter "fokussieren", und bräuchte mich nicht um die unterschiedlichen admin_level zu kümmern. Addieren geht nachher auch einfacher.

      Jein. Ein Kreis und noch eher ein Bundesland ist potentiell größer als die Vereinigung seiner Gemeinden und gemeindefr. Gebiete. Insb. an der Küste.
      Aber das kann man getrost ignorieren, denke ich.


    • Re: Zählen mit Overpass Turbo für Wochenaufgaben · Gehrke (Gast) · 08.12.2014 09:46 · [flux]

      Harald Hartmann wrote:

      ohne geguckt zu haben nehme ich an, dass dort der Regioschlüssel wohl nicht ganz korrekt ist?!

      Bevor da jemand übereilig "korrigiert". Die Regionalschlüssel sollten deutschlandweit eigentlich korrekt sein. Gemeinden (auch kreisfreie) haben immer einen Schlüssel der Länge 12.


    • Re: Zählen mit Overpass Turbo für Wochenaufgaben · TheFive (Gast) · 08.12.2014 09:59 · [flux]

      Vor allem nicht korrigieren, nur weil das Frontend einer "early pre alpha" "unausgegoren" ist.

      Die Schlüssel der Messungen werden jetzt mit ausgegeben, ich müsste noch deutlich machen, das es eine Messung oder eine Aggregation ist. Darüberhinaus hab ich den Admin Level mal temporär aufgenommen.

      Nach dem Hinweis von user:Gehrke kann ich dann ja mal anfangen die Zahlen der 11k Ortsteile in einer regelmässigen Nacht und Nebelaktion von der Overpass zu erhalten.

      Christoph


    • Re: Zählen mit Overpass Turbo für Wochenaufgaben · couchmapper (Gast) · 08.12.2014 12:56 · [flux]

      TheFive wrote:

      Nach dem Hinweis von user:Gehrke kann ich dann ja mal anfangen die Zahlen der 11k Ortsteile in einer regelmässigen Nacht und Nebelaktion von der Overpass zu erhalten.

      Da die Abfrage wohl mehrere Stunden laufen, würde ich zur Sicherheit einfach mal bei Roland nachfragen, ob er da irgendwelche Probleme sieht.


    • Re: Zählen mit Overpass Turbo für Wochenaufgaben · TheFive (Gast) · 08.12.2014 14:13 · [flux]

      couchmapper wrote:

      Da die Abfrage wohl mehrere Stunden laufen, würde ich zur Sicherheit einfach mal bei Roland nachfragen, ob er da irgendwelche Probleme sieht.

      Ja, wenns läuft wollte ich Roland sicherheitshalber die IP schicken und informieren.


    • Re: Zählen mit Overpass Turbo für Wochenaufgaben · TheFive (Gast) · 21.12.2014 17:29 · [flux]

      Roland ist informiert, und der Server lädt sich die aktuellen Daten runter. Läuft, wie ich mir gedacht hatte,
      nur das mit der Detailtiefe ein Zähldurchlauf schon ein bisschen dauert.

      http://thefive.sabic.uberspace.de/nodej … drWOStreet


    • Re: Zählen mit Overpass Turbo für Wochenaufgaben · TheFive (Gast) · 04.01.2015 14:43 · [flux]

      Weiss jemand, ob ich overpass-turbo direkt mit einer Query aufrufen kann ?

      http://thefive.sabic.uberspace.de/osmco … ubPercent=

      Hier biete ich einen Service Link, der die "gezählten" Objekte (sei es Apotheken, oder Apotheken ohne Öffnungszeiten) mit Overpass Turbo anzeigen soll.
      Ich generiere die passende Query und biete die für Copy und Paste an.
      Kann ich das auch so einbauen, das overpass-turbo die Query anzeigt, und der Copy und Paste Schritt entfällt ?

      Christoph


    • Re: Zählen mit Overpass Turbo für Wochenaufgaben · couchmapper (Gast) · 04.01.2015 14:55 · [flux]

      Falls das nicht zu lang wird: http://overpass-turbo.eu/?Q=blablabla%2 … %20Query&R -- &R ist zum sofort loslaufen. Q=((hier steht die unkomprimierte Query).


    • Re: Zählen mit Overpass Turbo für Wochenaufgaben · TheFive (Gast) · 04.01.2015 15:03 · [flux]

      Du bist ja flott. Sieht ganz gut aus, aber die " und die ' bleiben %22 und %27.
      Hingegen werden [] über %5b und %5d problemlos akzeptiert.

      Hier ein Beispiellink: "http://overpass-turbo.eu/?Q=%5bout:json … )%3bout%3b"

      Christoph


    • Re: Zählen mit Overpass Turbo für Wochenaufgaben · couchmapper (Gast) · 04.01.2015 15:09 · [flux]

      Bin mir nicht so ganz sicher, was da alles escaped werden muss. Die Spaces habe ich mal zu %20 umgebaut, damit das hier vom Forum nicht verhackstückt wird.... am besten mal etwas ausprobieren....


    • Re: Zählen mit Overpass Turbo für Wochenaufgaben · TheFive (Gast) · 04.01.2015 15:19 · [flux]

      encodeURIComponent ist dein Freund.

      Danke für den Tipp.

      Christoph


    • Re: Zählen mit Overpass Turbo für Wochenaufgaben · TheFive (Gast) · 04.01.2015 15:27 · [flux]

      Edit: Doppelpost, zu viele Tabs im Browser auf :-(


    • Re: Zählen mit Overpass Turbo für Wochenaufgaben · TheFive (Gast) · 12.01.2015 19:41 · [flux]

      Ich hab grad Tomaten auf den Augen.

      Diese Abfrage

      [out:json];area["de:amtlicher_gemeindeschluessel"~"^01"];
      (node(area)[amenity=pharmacy];
      way(area)␣␣[amenity=pharmacy];
      rel(area)␣␣[amenity=pharmacy];);
      out;
      

      gibt nur Nodes, (keine Ways und keine Relationen) aus. Die 3 Abfragen sind doch "Oder" verknüpft, und das Ergebnis der Area (hier Schleswig-Hostein) ist komplett frei von Ways und Relationen (was ich für sehr unwahrscheinlich halte, zumal User:Gehrke deutlich mehr Apotheken in dem Gebiet gezählt hat).

      1. FindeDenFehler

      Wenn ich die Zeile mit dem Node und den Way vertausche, bekomme ich 53 Ways aber keine Nodes, irgendwie ist die Union (das Oder) kaputt.

      Dickes Dankeschön im Voraus.

      Christoph
      (Die Abfrage hier für Tippfaule QUERY)


    • Re: Zählen mit Overpass Turbo für Wochenaufgaben · TheFive (Gast) · 12.01.2015 19:57 · [flux]

      fixed

      [out:json];area["de:amtlicher_gemeindeschluessel"~"^01"]->.a;
      (node(area.a)[amenity=pharmacy];
      way(area.a)[amenity=pharmacy];
      rel(area.a)[amenity=pharmacy]);
      out;