Tiles Norddeutschland+Umgebung erstellen+hosten: Systemanforderungen

Zu meiner Unizeit konnte ich mir auch nicht die Rechenleistung bezahlen, die ich brauchte. Daher habe viel das Rechenzentrum genutzt. Vielleicht geht das heute, an Deiner Hochschule auch.

Hallihallo und danke für die Antwort!

Ich sitze schon an der Uni... Deshalb konnte ich mir eben auch ...schwuppsssss... die ganze europe-latest.osm.pbf herunterladen und hatte noch nicht mal genug Zeit fürs Mittagessen... ;-) Die Rechner im Rechenzentrum sind mit Sicherheit gut genug ausgestattet, nur kann ich die dort nicht über mehrere Stunden in Beschlag nehmen (vom Speicherplatz ganz zu schweigen). Darum benutze ich meinen Rechner hier in unserem Institutsbüro (bin WHK). Die Frage war so gedacht, dass ich gern in Zukunft von zuhause aus mit den Daten arbeiten will und dafür reicht vermutlich weder so eine alte Kiste wie die, an der ich hier gerade sitze, noch mein ebenfalls altersschwacher und randvoller Laptop.

Ich bin grad einfach mal ins kalte Wasser gesprungen (habe meine Festplatte nach extern verschoben und so Platz geschaffen) und lasse osmosis den Bereich ausschneiden, den ich brauche. Das geht im Moment erstaunlich ruhig vonstatten und die .pbf-Datei wächst fleißig an. Ich glaube, der Flaschenhals liegt bei PostgreSQL/PostGIS: sobald das läuft, geht meinem Rechner schon bei nur Niedersachsen fast die Puste aus. Deshalb ja auch die Frage, wieviel ich so ungefähr an Leistung bräuchte, wenn ich mit einer größeren Datenbank arbeiten will.

Schöne Grüße
von der wantje

1. Was sollte ich mindestens an RAM einplanen?

Wenn Du richtig, richtig lange warten kannst, würde es bestimmt auch noch mit Deiner alten Gurke gehen, aber 8 GB wäre schon gut und 16 GB noch besser.

2. Brauche ich eine SSL-Festplatte, bzw. bringt die wirklich einen spürbaren Leistungsgewinn , z. B. beim Import über osm2pgsql oder in Tilemill?

Eine SSD würde die Sache grob geschätzt unfähr 5x so schnell machen. Das hängt aber auch immer ein bisschen vom RAM ab - besonders mit wenig RAM nützt die SSD viel. Vielleicht kannst Du sogar 40 Euro für eine 128 GB-SSD investieren und die in Deinen alten Rechner noch einbauen, das *könnte* klappen, vielleicht sogar ohne RAM-Upgrade. Natürlich musst Du es dann so einrichten, dass der "Swap Space" und die PostGIS-Datenbank auf der SSD sind.

3. Ich möchte in Tilemill Kacheln für die Zoom-Stufen 7-17 für das gesamte Gebiet erstellen lassen: ist das blödsinnig, sowas lokal zu machen und die Kacheln dann auf meinen Webspace hochzuladen?

Auf tools.geofabrik.de/mc kannst Du ein Rechteck auf die Karte zeichnen und es rechnet Dir aus, wie viel Platz die Tiles ungefähr brauchen. Achte dabei auch auf die Gesamtzahl der Dateien, es könnte sein, dass Dein Webspace hier begrezt ist. Falls Dein Webspace PHP kann, gibt es die Möglichkeit, die Tiles alle als riesige mbtiles-Datei hochzuladen und mit einem PHP-Skript am Webspace auszuliefern.

Bye
Frederik

Klasse, danke, das hilft mir schon sehr weiter! Dann ist es also nicht abwegig, für meine begrenzten Zwecke auf das ganz große Geschütz mit eigenem Tileserver etc. zu verzichten, oder?

Toller Link (tools.geofabrik.de/mc), kannte ich nicht: Für mein Gebiet wären das demnach 24 GB, 30 GB Platz habe ich... reicht also perfekt! :-) Mein Webspace kann php, mal gucken, wie ich das eingebunden bekomme (ich werde langsam zum IT-Nerd, und dabei habe ich doch nur Geographie studiert... :-D ), auch für diesen Tipp herzlichen Dank!

Wenn die SSD schon soviel ausmachen kann, sollte ich mir das überlegen. Den Rechner kann ich nicht mit RAM aufrüsten, er schafft nicht mehr als 4 GB. Aber 40 Euro für eine SSD sollte ich übrig haben (das löst auch gleich ein Platzproblem...). Sowas passt doch an einen normalen SATA-Anschluss, oder? DB und Swap kann ich umziehen, kein Problem.

Der osmosis-Ausschnitt hat nur etwas über eine Stunde gebraucht, Datei hat jetzt doch nur 1,8 GB als .pbf. Ich lasse osm2pgsql einfach über Nacht einfach mal laufen und gucke dann, wie Tilemill damit klarkommt. Und dann frage ich den Osterhasen nach einer SSD-Platte :-D

Sonnige Grüße und nochmal danke,
die wantje

Welcher Prozessor ist denn in dem Desktop-PC den du aktuell nutzt?

Und zum Ausschneiden von Datenextrakten aus großen PBF-Dateien benutzen manche User auch http://wiki.openstreetmap.org/wiki/Osmconvert statt Osmosis, unter Umständen ist dies schneller.

Zum Importieren von OSM-Daten in die Datenbanken gibt es auch noch http://wiki.openstreetmap.org/wiki/Imposm ... vielleicht ist das auch etwas schneller? Aber vielleicht auch nicht für den "Schulbuch-Basic"- Import für deine Zwecke so 100%ig geeignet? (selber mache ich nicht in Datenbanken... )

Hallihallo, auch an Dich ein Dankeschön,

Prozessor ist Intel Core 2 CPU 6400 @ 2.13GHz. Ausschneiden lief wie oben beschrieben erstaunlich schnell, sodass ich Osmconvert nicht unbedingt als Alternative brauche. Imposm habe ich schon gesehen, aber noch nicht probiert, da osm2pgsql grundsätzlich erstmal funktioniert. Will eigentlich in dieser Hinsicht nicht mehr soviel probieren, mir ging es eher ums Grundsätzliche und v. a. die Hardware.

Sonnige Grüße
von der wantje, die sich jetzt mal in die Osterfeiertage verabschiedet. Fröhliches Eiersuchen (mit oder ohne OSM) euch allen!

So, Moin, hier ein kleines Update:

Mein Rechner ist heute nacht beim osm2pgsql-Vorgang in die Knie gegangen. Wenn ich die Meldung "Speicherzugriffsfehler" (nachdem er bei "Going over pending ways" und "processing way" angekommen war) richtig interpretiere, bedeutet das, dass mein RAM/Swap für die Datenmenge, die osm2pgsql zu verarbeiten hat, nicht ausreichend sind. Schade eigentlich :-D

Also muss schnellstens eine Kiste mit viel RAM und SSL her... ich hatte es befürchtet, aber nun ja, hilft ja nix.

Nochmal danke für den Input,
die wantje.

wantje wrote:

Also muss schnellstens eine Kiste mit viel RAM und SSL her... ich hatte es befürchtet, aber nun ja, hilft ja nix.

Schaden kann es nix - aber es gibt noch Optionen:

osm2pgsql hat mehrere Optionen wie --slim, --cache und --cache-strategy, an denen man rumschrauben kann.
Schick doch mal deinen Script rüber, damit wir den sehen können. Und die Systemkonfiguration( OS, Memory, Disk)

Klar, wird alles irgendwie die Performance nicht verbessern aber dann hast du zumindest über Ostern was zu tun. 😉

Gruss
walter

ps: Fang mit Bremen oder Hamburg an. Dann siehst du, ob das flutscht oder nicht.

Huhu,

da ist wohl noch jemand zu Ostern lieber am PC als draußen beim Eierverstecken... :-D

osm2pgsql lief neulich mit ganz Niedersachsen ohne Fehler durch mit dem folgenden Befehl:

osm2pgsql -c --slim --drop --hstore --cache 2000 --style osmcarto/openstreetmap-carto.style -G -U wantje -d gis niedersachsen-latest.osm.pbf

Niedersachsen war irgendwas um 275 MB. Mein Versuch mit der osmosis-zugeschnittenen Bounding Box waren wie oben geschrieben 1.8 GB.

Betriebssystem ist Ubuntu 14.04 64 bit, 4 GB RAM, 4 GB Swap. Ich hab jetzt rund 80 GB Platz, da ist schon alles gelöscht, was geht. Die PostgreSQL-DB liegt auf home, da meine Systempartition zu klein ist.

Wo darf ich den Schraubenzieher ansetzen? Dankeschön!

Schöne Grüße
von der wantje