x

aus talk-de: Exzessive Einzelrequests an die API


  1. aus talk-de: Exzessive Einzelrequests an die API · wambacher (Gast) · 12.01.2011 02:56 · [flux]

    hi was ganz dringendes aus der talk-de.

    habs mal kopiert, da frederik hier nicht aktiv ist:

    Hallo,

    irgendein - pardon - Idiot sendet seit Tagen taeglich ueber 100.000
    einzelne /api/0.6/node/123-Requests an die OSM-API. Die Person kommt aus
    Deutschland, aus dem Arcor/Vodafone-DSL-Dialin-Netz. Die IPs werden
    immer gesperrt, das haelt dann, bis sie sich das naechste Mal einwaehlt.

    Das ist aus mehreren Gruenden doof. Erstens belastet es die API gehoerig
    (die gruene Linie auf
    http://munin.openstreetmap.org/openstre … m-week.png
    ist zu 90% diese eine Person), und man sollte einen so hohen Datenbedarf
    aus einem Dumpfile decken und nicht aus Live-Requests. Zweitens gibt es,
    selbst wenn man ausnahmsweise sowas von der API holen muss, sanftere
    Methoden, naemlich den /way/123/full-Aufruf fuer alle Nodes eines Ways,
    oder den /nodes?nodes?123,234,345,...-Aufruf fuer mehrere einzelne Nodes.

    Ich sage deswegen Idiot, weil die Person garantiert inzwischen gemerkt
    haben muss, dass sie mit ihren Anfragen eine Sperrung verursacht, und
    trotzdem immer noch munter weitermacht, nach dem Motto "ha, ha, ich bin
    so ein cooler Hacker, ich waehle mich einfach neu ein und schon ist die
    IP-Sperre weg".

    Meine Bitte an Euch: Falls irgendjemand was gehoert hat - irgendwer im
    Bekanntenkreis, am Stammtisch, aus dem Forum oder so, der irgendwas
    erzaehlt hat von einem coolen Skript, das er seit ein paar Tagen laufen
    laesst - fragt mal ganz vorsichtig nach, ob dieses Skript eventuell die
    API unsachgemaess bedienen koennte, und falls ja, nehmt Euch die Person
    mal gehoerig zur Brust.

    Leider gibt es in der API derzeit kein automatisches Rate Limiting fuer
    solche Requests, das ist also noch alles Handarbeit fuer die Admins.

    Bye
    Frederik


    gruss
    walter


    • Re: aus talk-de: Exzessive Einzelrequests an die API · EvanE (Gast) · 12.01.2011 04:07 · [flux]

      wambacher wrote:

      hi was ganz dringendes aus der talk-de. ...:

      irgendein - pardon - Idiot sendet seit Tagen taeglich ueber 100.000
      einzelne /api/0.6/node/123-Requests an die OSM-API. ...
      ...
      Meine Bitte an Euch: Falls irgendjemand was gehoert hat - ...
      ...

      Danke jetzt weis ich, warum ein Upload von ca. 250 Objekten ungefähr eine Stunde gedauert hat.
      Immerhin es hat funktioniert.

      Edbert (EvanE)