x

Importieren von Daten mit OSM2PGSQL


  1. Importieren von Daten mit OSM2PGSQL · deltabrasil (Gast) · 18.03.2010 23:07 · [flux]

    Hallo,

    ich habe die OSM Datenbank gerade entpackt und habe den Server gemäss dieser Anleitung eingerichtet:
    http://weait.com/content/build-your-own … map-server

    Das klappte auch alles wunderbar. Dementsprechend sollte nun mit dem osm2pgsql die Daten in den Postgres eingeladen werden.
    Leider bricht der immer wieder ab. Folgende Anleitung habe ich dazu benutzt:
    http://weait.com/content/make-your-first-map

    Die Ausgabe lautet wie folgt:

    postgres@ads:/root/src/mapnik/osm2pgsql$␣./osm2pgsql␣-m␣-d␣gis␣/etc/planet-latest.osm
    osm2pgsql␣SVN␣version␣0.69-20502
    
    Using␣projection␣SRS␣900913␣(Spherical␣Mercator)
    Setting␣up␣table:␣planet_osm_point
    HINWEIS:␣␣Tabelle␣?planet_osm_point?␣existiert␣nicht,␣wird␣?bersprungen
    HINWEIS:␣␣Tabelle␣?planet_osm_point_tmp?␣existiert␣nicht,␣wird␣?bersprungen
    Setting␣up␣table:␣planet_osm_line
    HINWEIS:␣␣Tabelle␣?planet_osm_line?␣existiert␣nicht,␣wird␣?bersprungen
    HINWEIS:␣␣Tabelle␣?planet_osm_line_tmp?␣existiert␣nicht,␣wird␣?bersprungen
    Setting␣up␣table:␣planet_osm_polygon
    HINWEIS:␣␣Tabelle␣?planet_osm_polygon?␣existiert␣nicht,␣wird␣?bersprungen
    HINWEIS:␣␣Tabelle␣?planet_osm_polygon_tmp?␣existiert␣nicht,␣wird␣?bersprungen
    Setting␣up␣table:␣planet_osm_roads
    HINWEIS:␣␣Tabelle␣?planet_osm_roads?␣existiert␣nicht,␣wird␣?bersprungen
    HINWEIS:␣␣Tabelle␣?planet_osm_roads_tmp?␣existiert␣nicht,␣wird␣?bersprungen
    Mid:␣Ram,␣scale=100
    
    Reading␣in␣file:␣/etc/planet-latest.osm
    Processing:␣Node(329350k)␣Way(0k)␣Relation(0k)Error␣allocating␣nodes
    Error␣occurred,␣cleaning␣up
    

    Wann er abbricht ist unterschiedlich. Der Import dauert auch ziemlich lange (4xDual Core 2,6 Ghz mit 12 GB RAM).
    Wer weiss, wie ich das optimieren kann?


    • Re: Importieren von Daten mit OSM2PGSQL · lutz (Gast) · 19.03.2010 09:14 · [flux]

      hallo,

      deine links sind gerade nicht erreichbar, aber du mußt die
      tabellen erst anlegen, wenn du diese befüllen willst.
      ist im readme von osm2pgsql gut beschrieben.

      grüße von lutz


    • Re: Importieren von Daten mit OSM2PGSQL · Nop (Gast) · 19.03.2010 14:08 · [flux]

      Versuch's doch mal mit dem Parameter -slim und gib ihm mehr Speicher für den Nodecache.

      Ohne -slim funktionieren ein paar Features eh nicht richtig, also auf jeden Fall angeben.

      bye
      Nop


    • Re: Importieren von Daten mit OSM2PGSQL · deltabrasil (Gast) · 27.03.2010 22:59 · [flux]

      lutz wrote:

      deine links sind gerade nicht erreichbar, aber du mußt die
      tabellen erst anlegen, wenn du diese befüllen willst.
      ist im readme von osm2pgsql gut beschrieben.

      Logisch. Das war auch alles erfolgreich. Bei mir funktionieren die Anleitungen (jetzt)

      Versuch's doch mal mit dem Parameter -slim und gib ihm mehr Speicher für den Nodecache.

      Hatte ich schon getan erfolglos. Das mit dem Nodecache versuch ich mal.


    • Re: Importieren von Daten mit OSM2PGSQL · deltabrasil (Gast) · 27.03.2010 23:18 · [flux]

      Also ... so zeigt es diese Seite an:

      Using␣projection␣SRS␣900913␣(Spherical␣Mercator)
      Setting␣up␣table:␣planet_osm_point
      Setting␣up␣table:␣planet_osm_line
      Setting␣up␣table:␣planet_osm_polygon
      Setting␣up␣table:␣planet_osm_roads
      
      Reading␣in␣file:␣../planet-090311.osm
      Processing:␣Node(319877k)␣Way(11648k)␣Relation(0k)
      

      Aber lt. dieser Seite habe ich alle DBs importiert...

      Ausgabe:

      net-latest.osmroot/src/mapnik/osm2pgsql$␣time␣./osm2pgsql␣--slim␣-d␣gis␣/etc/pla
      osm2pgsql␣SVN␣version␣0.69-20502
      
      Using␣projection␣SRS␣900913␣(Spherical␣Mercator)
      Setting␣up␣table:␣planet_osm_point
      HINWEIS:␣␣Tabelle␣?planet_osm_point?␣existiert␣nicht,␣wird␣?bersprungen
      HINWEIS:␣␣Tabelle␣?planet_osm_point_tmp?␣existiert␣nicht,␣wird␣?bersprungen
      Setting␣up␣table:␣planet_osm_line
      HINWEIS:␣␣Tabelle␣?planet_osm_line?␣existiert␣nicht,␣wird␣?bersprungen
      HINWEIS:␣␣Tabelle␣?planet_osm_line_tmp?␣existiert␣nicht,␣wird␣?bersprungen
      Setting␣up␣table:␣planet_osm_polygon
      HINWEIS:␣␣Tabelle␣?planet_osm_polygon?␣existiert␣nicht,␣wird␣?bersprungen
      HINWEIS:␣␣Tabelle␣?planet_osm_polygon_tmp?␣existiert␣nicht,␣wird␣?bersprungen
      Setting␣up␣table:␣planet_osm_roads
      HINWEIS:␣␣Tabelle␣?planet_osm_roads?␣existiert␣nicht,␣wird␣?bersprungen
      HINWEIS:␣␣Tabelle␣?planet_osm_roads_tmp?␣existiert␣nicht,␣wird␣?bersprungen
      Mid:␣pgsql,␣scale=100,␣cache=800MB,␣maxblocks=102401*8192
      Setting␣up␣table:␣planet_osm_nodes
      HINWEIS:␣␣Tabelle␣?planet_osm_nodes?␣existiert␣nicht,␣wird␣?bersprungen
      HINWEIS:␣␣CREATE␣TABLE␣/␣PRIMARY␣KEY␣erstellt␣implizit␣einen␣Index␣?planet_osm_nodes_pkey?␣f?r␣Tabelle␣?planet_osm_nodes?
      Setting␣up␣table:␣planet_osm_ways
      HINWEIS:␣␣Tabelle␣?planet_osm_ways?␣existiert␣nicht,␣wird␣?bersprungen
      HINWEIS:␣␣CREATE␣TABLE␣/␣PRIMARY␣KEY␣erstellt␣implizit␣einen␣Index␣?planet_osm_ways_pkey?␣f?r␣Tabelle␣?planet_osm_ways?
      Setting␣up␣table:␣planet_osm_rels
      HINWEIS:␣␣Tabelle␣?planet_osm_rels?␣existiert␣nicht,␣wird␣?bersprungen
      HINWEIS:␣␣CREATE␣TABLE␣/␣PRIMARY␣KEY␣erstellt␣implizit␣einen␣Index␣?planet_osm_rels_pkey?␣f?r␣Tabelle␣?planet_osm_rels?
      
      Reading␣in␣file:␣/etc/planet-latest.osm
      Processing:␣Node(330k)␣Way(0k)␣Relation(0k)
      

      Lass ihn mal laufen, mal sehen was raus wird :-/


    • Re: Importieren von Daten mit OSM2PGSQL · lutz (Gast) · 28.03.2010 09:05 · [flux]

      du hast ja gleich am anfang die fehlermeldung, das deine tabellen nicht existieren,
      ich würde mir pgadminIII installieren und nachschauen ob alle tabellen in
      der datenbank gis vorhanden sind....

      grüße von lutz


    • Re: Importieren von Daten mit OSM2PGSQL · deltabrasil (Gast) · 28.03.2010 15:29 · [flux]

      Welches SQL-File ist fürt die Tabellen zuständig?


    • Re: Importieren von Daten mit OSM2PGSQL · lutz (Gast) · 28.03.2010 16:18 · [flux]

      hallo,

      die tabellen werden von osm2pgsql angelegt,
      habe mir mal eine neue osm-datenbank angelegt, und ein osm-file reingeladen,
      da wird mir jetzt auch angezeigt, das die tabellen nicht existieren würden, diese sind
      aber da und wurden ohne fehlermeldung gefüllt.....
      warum testest du nicht erst mit einem kleineren osm ausschnitt, um zu sehen ob da funktioniert......

      grüße von lutz


    • Re: Importieren von Daten mit OSM2PGSQL · Ldp (Gast) · 28.03.2010 17:09 · [flux]

      Hinweis != Fehler


    • Re: Importieren von Daten mit OSM2PGSQL · lutz (Gast) · 28.03.2010 17:19 · [flux]

      nicht ganz,

      beim wiederholten befüllen, erscheint der hinweiß nicht mehr,
      ich gehe davon aus, das gescheckt wird ob die tabellen da sind, wenn nicht
      werden diese angelegt......

      grüße von lutz


    • Re: Importieren von Daten mit OSM2PGSQL · deltabrasil (Gast) · 28.03.2010 18:33 · [flux]

      lutz,

      Gute Idee!!!!!!einself Ich nehm einfach mal nen kleinen Dump von der API und schieb ihn durch osm2pgsql. Wenn der kleine Dump drin ist, sollten die Tabellen ja auch da sein und füllbar :-)


    • Re: Importieren von Daten mit OSM2PGSQL · Ldp (Gast) · 28.03.2010 19:48 · [flux]

      Ich meine: dass sind nur Hinweise. Die Tabellen werden angelegt wenn sie nich da sind. Die Hinweise für die _tmp Tabellen gibts auch immer.


    • Re: Importieren von Daten mit OSM2PGSQL · Bikeman2000 (Gast) · 06.04.2010 19:01 · [flux]

      Ich bin einer ähnlichen Anleitung gefolgt und habe einen ähnlichen Fehler
      http://weait.com/content/build-your-own … lucid-lynx

      PostGIS: SRID warning, using srid=-1
      Traceback (most recent call last):
      File "./generate_image.py", line 37, in <module>
      mapnik.load_map(m,mapfile)
      RuntimeError: PSQL error:
      FEHLER: Relation »planet_osm_polygon« existiert nicht
      LINE 3: from planet_osm_polygon
      ^
      Full sql was: 'select * from
      (select way,aeroway,amenity,landuse,leisure,man_made,military,"natural",power,shop,tourism,name
      from planet_osm_polygon
      where landuse is not null
      or leisure is not null
      or shop is not null
      or aeroway in ('apron','aerodrome')
      or amenity in ('parking','university','college','school','hospital','kindergarten','grave_yard')
      or military in ('barracks','danger_area')
      or "natural" in ('field','beach','heath','mud','wood')
      or power in ('station','sub_station')
      or tourism in ('attraction','camp_site','caravan_site','picnic_site','zoo')
      order by z_order,way_area desc
      ) as leisure
      limit 0'
      (encountered during parsing of layer 'leisure')

      Ich habe allerdings aus Zeitgründen nicht die planet.osm heruntergeladen und importiert sondern nur einen Extrakt für meine Stadt.

      Den oben beschriebenen Fehler habe ich übrigens auch schon beim .osm import.
      Ich verwende folgenden Befehl für den Import:

      ./osm2pgsql -S default.style -slim -d gis -C 2048 ~/planet/duesseldorf.bz2