Comments

92 comments

  • Avatar
    Bernard Perrot

    Bonsoir,

    Fichiers très gros (entre plus de 2 Go et jusqu'à près de 7 Go), débit lent, pertes de connexion... sans doute trop de téléchargements en cours. Va falloir être patient et revenir plus tard...

    Apparemment, l'IGN ajoute de plus en plus de données téléchargeables, mais le serveur ne suit pas. Il faudrait qu'ils publient ça en Torrent, ce serait plus efficace.

    Cordialement,

    0
    Comment actions Permalink
  • Avatar
    Maxime Muller

    Bonjour,

    Bernard,

    En Torrent tu plaisantes l'IGN ne mettrait jamais ses fichiers en mode Torrent, c'est pour le piratage.....Bon je rigole !

    J'essaye de télécharger le fichier de mon département effectivement parfois ça marche d'autres fois ça s'arrête, la bande passante est très faible. Je suis curieux de voir ce que ça donne.

    CDL

    0
    Comment actions Permalink
  • Avatar
    Bernard Perrot

    Bonjour,

    En Torrent tu plaisantes l'IGN ne mettrait jamais ses fichiers en mode Torrent, c'est pour le piratage...

    Pas plus qu'une BMW ne sert qu'à faire des go-fast... !

    BitTorrent est un protocole Peer-to-Perr (P2P) tout à fait normal, voir le RFC5694.
    Des sites de partages de fichiers illégaux l'utilisent, mais aussi bien des autres pour des activités tout à fait recommandables (distributions de logiciels par exemple).

    FTP est très mal adapté à la diffusion de (très) gros fichiers, c'est pourquoi à mon avis, un autre protocole, avec segmentation, avec reprises, peu sensible aux variations de débits, serait bien plus efficace.

    Pourquoi dire que Torrent "c'est pour le piratage" ... ? Sans doute que cette pensée vient à l'esprit surtout à ceux qui n'en connaissent que cet usage... ;-)

    Cordialement,

    PS : ah oui... Internet ne sert qu'à faire du piratage aussi puisque les pirates utilisent Internet non ?

    0
    Comment actions Permalink
  • Avatar
    Maxime Muller

    Le problème d'un Torrent c'est qu'Hadopi sait que tu télécharges un fichier et peut prendre ton fichier surtout très lourd comme ce MNT pour du piratage film ou autre, et dans ce cas il faut un VPN c'est pourquoi j'ai pris un VPN depuis longtemps d'abord ça évite d'être piraté soi-même puisque si ils essayent de rentrer dans ton ordi ils entrent chez le VPN. On est donc protégé. Par contre ça n'évite pas les spams bien sur.

    CDL

    0
    Comment actions Permalink
  • Avatar
    Bernard Perrot

    Le problème d'un Torrent c'est qu'Hadopi sait que tu télécharges un fichier et peut prendre ton fichier surtout très lourd comme ce MNT pour du piratage film ou autre

    Bien sur que non !

    Adopi ne tape pas au hasard et sans preuve que le transfert est illégal voyons...
    Ce qui serait illégal alors serait de s'en prendre à quelqu'un sans délit prouvé.

    Je le répète, il existe des serveurs de logiciels parfaitement légaux qui partagent en P2P.
    Il est interdit de pirater, pas d'utiliser un logiciel P2P !

    0
    Comment actions Permalink
  • Avatar
    Bernard Perrot

    Rebonsoir,

    Si ça peut renseigner :

    Je viens de télécharger mon département (22), assez incomplet à 1m :
    - l'archive fait 2,4Go, ce qui est presque la taille plancher parmi toutes celles proposées à 1m (certaines dépassent les 6 Go) ;
    - avec un client FTP qui reprend le téléchargement après erreur, il a fallut presque 30 redémarrages pour avoir enfin tout le fichier, et environ 10H de temps ;
    - après extraction, environ 50Go de données ;
    - dont en particulier 7468 fichiers ASC (dalles de 1km x 1km) ;

    Vous comprendrez facilement que pour utiliser et traiter tout ça, il faudra du disque, et rapide (SSD) pour ne pas y passer des semaines. Il ne sera pas possible de créer des CDEM de bien grande surface assurément.

    Le MNT à 1m, ce n'est pas ou outil du quotidien, et encore moins destiné à être embarqué dans un appareil portable.

    Mais bon, pas de surprise en fait, par rapport au MNT à 5m, on savait bien que ça allait croitre d'un facteur 25 !

    Cordialement,

     

    0
    Comment actions Permalink
  • Avatar
    Thierry CHARLÈS

    Bonjour,

    Une foi les dalles mergées / fusionnées avec Qgis, comment procède tu pour que Land les accepte?

    CDLT

    0
    Comment actions Permalink
  • Avatar
    Bernard Perrot

    Bonjour,

    Il y a plusieurs moyens. Un des plus simples, il faut exporter la couche raster fusionnée en ASC (menu conversion, pas exporter), et dans Land, il faut importer ce fichier ASC, et le transformer en CDEM ou HDR.

    Il ne faut pas oublier de préciser la projection de la couche (Lambert93), et éventuellement indiquer les valeurs "NODATA" (typiquement -99999).

    Il y a une limitation avec Land, quelque soit le format, au delà d'un fichier à importer de plus de 5Go à 6Go, ça plante. Je ne sais pas si c'est du à ma machine, au système (je suis sur Mac) ou si c'est congénital à Land.

    Pour minimiser la taille de l'ASc exporté, il y a intérêt à utiliser l'option "-co DECIMAL_PRECISION=2" pour limiter le nombre de chiffres après la virgule à 2 seulement.

    Me redemander si tu n'y arrives pas comme ça, mais là, je ne suis pas disponible à l'instant pour faire des captures d'écran.

    Bon, clairement, si c'est pour produire un CDEM à 1m, la surface va être limitée.

    Cordialement,

    PS : pour vérification, la commande générée doit être :

    gdal_translate -a_nodata -99999.0 -of AAIGrid -co DECIMAL_PRECISION=2 Merged.tif Merged.asc
    0
    Comment actions Permalink
  • Avatar
    Thierry CHARLÈS

    Bonjour,

    Merci ..

    J'y était presque.

    Si ont omet de présiser "-co DECIMAL_PRECISION=2"  dans la commande, Land n'importe pas le fichier *.asc, il ouvre le fichier mais au format texte, donc la suite des altitudes avec une suite de zéros.

    En fixant le nombre de zéros a deux, je me suis limite à 60 dalles, land ouvre bien le fichier .asc (correctement géoréférencé ça se voit dans Qgis) mais la conversion en HDR ou CDEM ne passe pas "fichier to big for Land 64 bits" et pourtant il ne fait que 401 Mo.

    Cdlt

     

     

     

    0
    Comment actions Permalink
  • Avatar
    Thierry CHARLÈS

    Suite,

    BD alti a 1 m, non je ne m'y intéresse pas, celle a 5 m est ultra précise. J'ai un peu jouer a générer des courbes de niveaux jusqu'à 2,5 d'équidistance, ensuite cet relief géoréférencé il faut le superposer à une IGN top 25 (ou l'ortho photo et examiner la carte au niveau des petits cours d'eau (qui sont inévitablement dans les creux). Le constat est bluffant..

    Cdlt 

    0
    Comment actions Permalink
  • Avatar
    Bernard Perrot

    Bonsoir,

    mais la conversion en HDR ou CDEM ne passe pas "fichier to big for Land 64 bits" et pourtant il ne fait que 401 Mo

    J'ai créé un CDEM à 5m pour la Bretagne, le CDEM fait environ 400Mo, un pour les Alpes qui fait un peu plus de 600Mo, et un de toute la France à 25m qui fait environ 500Mo.

    Mais jamais bien compris pourquoi ça ne passe pas dépassé une certaine taille du fichier en entrée, ça plante... ou pas. 

    BD alti a 1 m, non je ne m'y intéresse pas

    Il faut clairement dire à ceux qui voudraient se lancer à télécharger et traiter que ces fichiers ne peuvent être utiles que dans des cas ponctuels, limités en couverture. Mais il ne faut pas imaginer créer des MNT d'usage général avec ça, bien trop précis en fait, et trop volumineux. C'est pour de la cartographie locale avec un objectif spécifique, à priori professionnel.

    Cordialement,

    PS : si tu veux que je te génère un CDEM pour une région particulière, me dire où, maintenant que je sais faire (et que ça marche), ce n'est pas très long.

    0
    Comment actions Permalink
  • Avatar
    Thierry CHARLÈS

    Bonsoir,

    Merci, maintenant que j'ai compris ou était l'erreur, je vais de nouveau tenté à tête reposée, j'ai une piste.

    Quand Land plante sur la taille il faut l'arrêter et relancer et ca passe.

    Le problème doit se situer au niveau de la gestion de l'espace mémoire, 

    Je te tiendrai informé, merci pour cette solution.

    CDLT

    0
    Comment actions Permalink
  • Avatar
    Maxime Muller

     

    Bonjour Bernard,

    Impossible de télécharger, perte de connexion et quand ça fonctionne bande passante minable, bizarre quand même pour les autres je n'ai jamais eu ces problèmes.

    Je vais attendre quelques temps pour voir si c'est le FTP qui est surchargé.

    Bonne journée,

    CDL

    0
    Comment actions Permalink
  • Avatar
    Bernard Perrot

    Bonjour,

    Oui, les téléchargements des MNT à 1m sont très difficiles. 
    Cela doit être du en particulier au fait que les fichiers sont très gros, en moyenne 4Go à 6go.
    Il est indispensable de télécharger avec un client FTP qui est capable de reprendre un transfert interrompu (reprendre où il en était, pas au début, sinon, cela ne convergera jamais).
    Et avec un tel client, bien le configurer pour qu'il refasse au moins une trentaine de reconnexions (souvent, c'est par défaut de l'ordre de cinq, ce qui ne sera pas suffisant non plus).

    Mais bon... comme je le disais plus haut, l'utilité est très faible ensuite. Ces MNT ne peuvent servir à des petites zones et avec un besoin réel. Une fois décompressés, c'est monstrueux (compter entre 50Go à 150Go pour un département, pour des milliers d'ASC), et complexe alors à traiter (sur un disque HDD c'est interminable, un disque SSD est indispensable pour les fusions/transformations).

    Et aussi, il est indispensable de préalablement consulter la carte des zones couvertes à 1m, parce que sinon, on va juste avoir des données à 5m ou 25m interpolées, ce qui ne sert alors à rien ! Par exemple, pour les Alpes où on pourrait se dire que des altitudes à 1m, ce serait bien compte tenu des fortes variations de dénivelé, eh bien pas la peine... seules les fonds de vallées sont couverts à 1m, en montagne, ça reste du 5m au mieux. Et vu depuis le rôle de l'IGN, ça parait logique : la couverture à 1m a en premier lieu un but pratique, travaux publics en particulier, donc les zones habitées ou d'activités économique particulière. Le MNT à 1m, c'est pour un usage SIG, pas "amateur".

    Pour l'usage des lecteurs de ce forum, c'est à dire randonnée, VTT, cyclo, le MNT à 5m est bien suffisant. Et même pour minimiser la taille des fichiers embarqués dans un appareil portable, dégrader le MNT à 5m à une maille de 10m réduit les fichiers d'un facteur quatre, sans perte notable de précision dans la pratique.

    Cordialement,

    0
    Comment actions Permalink
  • Avatar
    Maxime Muller

    Bernard,

    Merci pour toutes ces infos, c'est juste par curiosité. De toute façon je ne sais pas me servir d'un logiciel FTP. Ca semble compliqué et comme je n'y connais pas grand chose, je laisse tomber, je verrai ça plus tard.

    CDL

    0
    Comment actions Permalink
  • Avatar
    Maxime Muller

    Bernard,

    Le serveur demande un mot de passe et un login, que mets tu ?

    Merci.

    CDL

    0
    Comment actions Permalink
  • Avatar
    Bernard Perrot

    Le serveur demande un mot de passe et un login, que mets tu ?

    Ben c'est celui indiqué sur le lien Geoservices, exprimé en syntaxe URL standard :

    ftp://RGE_ALTI_ext:Thae5eerohsei8ve@ftp3.ign.fr/RGEALTI_2-0_1M_ASC_LAMB93...

    Dans un tel lien, le nom d'utilisateur, c'est "RGE_ALTI_ext", et le mot de passe, c'est "Thae5eerohsei8ve".

    Attention que sur le serveur Geoservices, ces identifiants sont différents selon le type de données proposées.

    Cordialement,

    0
    Comment actions Permalink
  • Avatar
    Maxime Muller

    Merci Bernard, j'ai réussi a commencer à le télécharger avec Filezilla, mais c'est long déjà pour aller chercher les fichiers sur le FTP, j'ai la liste des Rge-Alti qui est bien affichée dans la fenêtre, je sélectionne le fichier qui m'intéresse, il est en train de le chercher.....Demande les autorisations, puis Il s'affiche dans le dossier choisi du PC puis commence à se télécharge et disparait. Ca fait déjà trois fois que j'essaie.

    CDL

    0
    Comment actions Permalink
  • Avatar
    Bernard Perrot

    Pas certain que Filezilla soit performant coté reprise de transferts interrompus.

    J'utilise "Progressive Downloader", mais c'est un logiciel Mac.
    Pour Windows, quelqu'un qui aura réussi à télécharger dire ici lequel est le plus adéquat, moi, je ne sais pas.

    0
    Comment actions Permalink
  • Avatar
    Maxime Muller

    J'en ai essayé un autre mais je n'arrive pas à le configurer, c'est SmartFTP, il demande un Host, j'ai cherché sur Internet le Host Name mais avec celui de mon PC ça ne fonctionne pas. Je n'ai pas assez de connaissances. J'en ai eu il y a des années sur les FTP mais je ne m'en souviens plus.

    0
    Comment actions Permalink
  • Avatar
    Maxime Muller

    Ouf, j'ai trouvé une autre FTP CyberDuck ça y est ça télécharge sans demander un host.....Mais quand même 7.5 heures.

    0
    Comment actions Permalink
  • Avatar
    Bernard Perrot

    A voir... avec Cyberduck, je n'ai jamais réussi pour ces MNT à 1m.
    Intéressé de savoir si ça va marcher pour vous.

    0
    Comment actions Permalink
  • Avatar
    Maxime Muller

    J'ai peut être parlé un peu vite, déconnection et difficile de reconnecter. Tant pis....

    CDL.....

    0
    Comment actions Permalink
  • Avatar
    Maxime Muller

    Bonjour,

    Ce n'est pas CyberDuck qui a un problème mais le serveur FTP de l''IGN qui décroche tout le temps comme ça le faisait en téléchargement direct.

    CDL

    0
    Comment actions Permalink
  • Avatar
    Bernard Perrot

    Cyberduck n'a pas un problème en soi, simplement, certains client FTP se tirent mieux d'affaire quand il faut reprendre un transfert échoué où il en était, et combien de fois.

    Avec Cyberduck, je n'ai pas réussi, il faisait des retry, mais au bout d'un moment, c'était abandon pur et simple.

    Avec Progressive Downloader, qui est plus paramétrable, j'y suis arrivé.

    Le server FTP de l'IGN est très manifestement saturé (ou bien sa liaison à Internet), et ça casse en cours. Les fichiers sont trop gros, il aurait fallu que l'IGN les segmente en plusieurs morceaux. peut-être finiront-ils par s'en rendre compte s'ils analysent l'activité de leur serveur.

    Cordialement,

    0
    Comment actions Permalink
  • Avatar
    Roland Burnet

    Pour info, j'ai réussi à télécharger l'Isère, 2 fichiers, un de 374 Mo, facile à avoir et l'autre de 6,44 Go et là c'est plus galère.

    Mais avec FileZilla, sous réserve de bien spécifier dans la configuration qu'il faut reprendre un téléchargement avorté et non écraser le premier fichier. Il faut plusieurs tentatives pour y arriver et la nuit et le WE ça passe mieux mais je suis arrivé à un débit au plus de 150 ko/s.

    Une dalle passée en CDEM, cela fait autour de 300 ko.

    Cordialement

    R. Burnet

    0
    Comment actions Permalink
  • Avatar
    Maxime Muller

    Bonjour,

    Moi impossible avec CyberDuck, Filezilla, niet, ça coupe après un moment, je suis juste arrivé à télécharger la moitié puis coupure et impossible de re-télécharger à nouveau même avec les FTP.

    Bientôt j'aurai la fibre à 1Go/s peut être qu'avec cette vitesse j'arriverai enfin à télécharger. Ma bande passante est au maxi à 1Mo/s réel (10Mo/s avec des tests) avec ça je ne vais pas loin, de même en montant je suis à 100Ko/s impossible d'uploader un fichier dans ces conditions.

    En fait ça vient surtout de l'IGN car au début quand j'ai téléchargé les fichiers de 5m j'en ai chargé plusieurs en même temps et ça allait assez vite, j'ai réessayé un fichier 5m ça bloque aujourd'hui comme le 1m, donc leur bande passante est devenue nulle.

    CDL

    0
    Comment actions Permalink
  • Avatar
    Thierry CHARLÈS

    Bonjour,

    Outre les effets liés à la taille des fichiers (Temps de chargement, Bande passante, Volume mémoire occupé), vu que dans LAND, ces données seront "difficilement exploitable"  du fait des limites liées à la taille des fichiers.. Il y a probablement une problématique de philosophie d'emploi, il va falloir être extrêmement rigoureux, dans le choix et l'utilisation des datum, étant donné que l'erreur de géolocalisation de la carte IGN Lambert  peut atteindre 9 m (Voir le site IGN qui traite du sujet).

    Donc, il y aura des situations ou  la localisation de la dalle altimétrique, la dalle Top 25, et le GPS  (3,41m à 90%) ne seront pas cohérents.

    Comme l'a développé Bernard (je crois) un peu plus haut dans ce fil, il semble que la dalle a 5 x 5 m reste plus cohérente de la performance de localisation globale.

    CDLT

      

    0
    Comment actions Permalink
  • Avatar
    Bernard Perrot

    Bonjour,

    donc leur bande passante est devenue nulle

    Non, elle n'est pas devenue nulle, c'est juste que c'est la même... avec plus de ressources disponibles. Et plus de téléchargements, et trop de sollicitations du serveur. FTP n'est vraiment pas le protocole adapté à servir autant de gros fichiers. Il faudrait que l'IGN revoit ce point là, et aussi sans doute, qu'ils segmentent plus les données mises à disposition.

    Par exemple, pour le "Plan IGN", pour un département, on est obligé de télécharger en une seule archive tous les niveaux, jusqu'au zoom 19 ! Résultat, cinq ou six fichiers .7z de 5Go pour un total de 25 go à 30 Go compressés. Si on ne souhaite que le niveau 16, on est obligé de télécharger environ 20 fois plus de données que ce qu'on souhaite !

    il semble que la dalle a 5 x 5 m reste plus cohérente de la performance de localisation globale

    Oui, et même, 10 x 10 m serait suffisant pour quatre fois moins lourd.
    Le MNT à 1m, c'est un outil GIS, pas pour usage carto randonnée ou VTT.

    Cordialement,

    0
    Comment actions Permalink
  • Avatar
    Alain DAVY

    Bonjour,

    Eagle Four a écrit : "l'erreur de géolocalisation de la carte IGN Lambert peut atteindre 9 m (Voir le site IGN qui traite du sujet)."

    Des informations complémentaires sur cette assertion ? L'adresse du "site IGN qui traite du sujet" ?

    Merci.

    Alain

    0
    Comment actions Permalink

Please sign in to leave a comment.