Re: Gefofabrik Download langsam

gormo wrote:

Und bevor jemand jetzt IPs irgendwo hart in seine Skripte reincodiert: das wird ein temporärer Effekt sein, und die Geofabrik hat da aus (vermutlich ;-) ) guten Gründen einen Load Balancer. Also nicht fest irgendwo IPs verwenden!

Hehe, danke, in der Tat wird der Downloadserver immer mal wieder umgestellt, und jemand, der IPs fest einstellt, könnte leicht mal in die Röhre gucken.

Das Setup am Downloadserver sieht so aus, dass es nur einen (Haupt-)Server gibt, der die Extrakte ausrechnet und auch ausliefert, aber es gibt einen zweiten (früher auch einen dritten) (Proxy-)Server, von dem man die Extrakte ebenfalls anfordern kann (und intern baut der dann eine Verbindung zum Hauptserver auf). Der Grund für diese Akrobatik ist, dass Hetzner pro Server nur einen bestimmte Menge an kostenlosem Inklusivtraffic erlaubt, und der Downloadserver käme da drüber. Da Hetzner-interner Traffic aber nicht zählt, kann man auf diese Weise den Freitraffic von anderen Servern mitnutzen.

Zusätzlich hierzu gibt es auch noch die Unterstützung von der GWDG, die täglich eine Kopie der Deutschland- und Europafiles ziehen; sobald der Download-Server weiss, dass die aktuelle Version dieser Datei bei der GWDG liegt, werden Requests für europe-latest.osm.pbf, germany-latest.osm.pbf und deren .bz2-Äquivalente nur noch mit Redirects zur GWDG beantwortet. (Das gilt aber nur für diese Files, nicht z.B. für Nordrhein-Westfalen und andere).

Im konkreten Fall irgendwas mit dem Netzwerk auf dem Proxy-Server im Eimer, und die Hetzner-interne Datenverbindung war schnarchlahm. Wir haben am Freitag erstmal den Proxy-Server aus dem DNS genommen, damit alle Anfragen direkt beim Hauptserver ankommen. Jetzt, nach einem Reboot, scheint auf dem Proxyserver aber wieder alles normal, und ich habe ihn wieder ins DNS eingetragen.

Mittelfristig werde ich das System vermutlich so umstellen, dass es wieder 2 Proxy-Server gibt, die aber auch über einen Cache der häufigst abgefragten Files verfügen, um den Hauptserver etwas stärker zu entlasten.

Bye
Frederik