Copie du Forum

Page 4 sur 4 Précédent  1, 2, 3, 4

Voir le sujet précédent Voir le sujet suivant Aller en bas

Re: Copie du Forum

Message par nooneelse le Jeu 10 Déc 2015 - 6:49

Je viens de regarder le fonctionnement de wget (sous windows) et j'ai une question. On peut définir une vitesse max de téléchargement ou le nombre de requêtes max? Histoire d'éviter dêtre blacklisté aussi...


Edit : j'ai trouvé pour limiter la vitesse mais par encore le nombre de connexion. Je vais faire un essai. Si vous ne me voyez plus.......

nooneelse
Membre Premium

Masculin Nombre de messages : 193
Date d'inscription : 21/11/2015

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: Copie du Forum

Message par tarsonis le Jeu 10 Déc 2015 - 8:33

Salut !

Donc le filtre de Forumactif est toujours en place clind'oeil
Ou bout d'un certain nombre de requêtes par heure il faut mettre en pause, sans quoi cela renvoie une erreur.
Le gros soucis avec Httrack (dans mon cas) était qu'il fallait attendre la fin complète du téléchargement afin de reconstruire l'ensemble des liens, sinon cela reste des pages orphelines....

________________________________________________________
Nous devons apprendre à vivre ensemble comme des frères, sinon nous allons mourir tous ensemble comme des idiots. M. L. K.
Step It Up - Mia Dolls - Un Mauvais Fils - 25 Years of Zelda - Machinarium - Récapitulatif des projets électroniques - [Chroniques du Bunker de L'Apocalypse] - Projet Geiger - Culture ethnobotanique en France

tarsonis
Co-administrateur

Masculin Nombre de messages : 7988
Age : 30
Localisation : Est
Loisirs : Randonnée, botanique, bidouillages DIY, médecine, bouquins SF.
Date d'inscription : 21/05/2008

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: Copie du Forum

Message par nooneelse le Jeu 10 Déc 2015 - 8:45

Bon j'ai wget qui tourne depuis 25 minutes et j'en suis à 56 Mo téléchargés... (limite rate à 10Ko/s).
Je crois que pour wget aussi il faut attendre la fin pour que tout soit reconstruit.
Pour la pause je ne sais pas si c'est possible avec wget (je découvre). J'espère qu'avec une vitesse de DL lente ça passera comme ça.

Ce message me permettra de voir si j'ai été blacklisté ......

nooneelse
Membre Premium

Masculin Nombre de messages : 193
Date d'inscription : 21/11/2015

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: Copie du Forum

Message par nooneelse le Jeu 10 Déc 2015 - 8:59

Bon ma fenêtre de commande s'est fermée au bout de 40 minutes environ et j'en été qu'à 100 Mo environ...
Je refais un essai avec d'autres options et au lieu de partir sur tout le site je pars juste sur la section "Les bases de la survie". J'espère qu'avec les nouvelles options trouvées ça ira mieux et que cela ne récupérera que ce qu'il y a sous "les bases de la survie"...
A suivre

nooneelse
Membre Premium

Masculin Nombre de messages : 193
Date d'inscription : 21/11/2015

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: Copie du Forum

Message par nooneelse le Jeu 10 Déc 2015 - 10:36

Bon je suis en train de tester une autre méthode en passant par memoweb.

Les images png semblent être cryptées/dégradées :



Les jpg semblent bonnes pour le moment. A voir si elles sont modifiées à la fin de la capture.
Je peux ouvrir les pages du forum récupérées mais il n'y a pas de liens entre elles. Si je clique sur le lien pour aller à la page 2, cela m'amène sur le forum en ligne et pas en local alors que la page 2 est aussi récupérée. Le lien sera sans doute fait à la fin.

nooneelse
Membre Premium

Masculin Nombre de messages : 193
Date d'inscription : 21/11/2015

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: Copie du Forum

Message par nooneelse le Jeu 10 Déc 2015 - 12:44

Petit bilan.
Ma première récupération avec memoweb a été interrompue car mon PC a redémarré.... evcol
J'en ai relancé une que j'ai arrêtée au bout d'un certain temps pour tester. Et bien cela m'a l'air pas mal du tout. Il a reconstruit les liens et on peut passer d'une page à l'autre tout en restant en local, ou naviguer sur le forum... Les images sont soit absentes soit dégradées. Mais à part ça ça rend vraiment bien: on a l'impression d'être sur le forum. J'ai essayé de trouver le prix de memoweb mais en fait il n'est plus vendu/mis à jour depuis 2009 (info de la société qui l'éditait).
Je suis en train de tester teleport pro. En espérant qu'il soit aussi bien que memoweb mais avec les images.

Je vous tiens au courant pour teleport pro.


Edit : je viens de mettre en pause Teleport et j'ai testé. J'arrive à naviguer (je n'ai pas encore toutes les pages) et les photos sont normales.... Je vais donc laisser teleport finir et on verra ce que ça donne au final :
- taille du forum
- présence et qualité des images
- blacklisté par le forumactif....
- navigation entre les sections et pages...


Edit 2 :
925 pages du forum avec les images pour environ 284 Mo.


Edit 3 :
environ 3000 pages pour 844 Mo

nooneelse
Membre Premium

Masculin Nombre de messages : 193
Date d'inscription : 21/11/2015

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: Copie du Forum

Message par tarsonis le Jeu 10 Déc 2015 - 15:26

Merci pour le taf ! clind'oeil

________________________________________________________
Nous devons apprendre à vivre ensemble comme des frères, sinon nous allons mourir tous ensemble comme des idiots. M. L. K.
Step It Up - Mia Dolls - Un Mauvais Fils - 25 Years of Zelda - Machinarium - Récapitulatif des projets électroniques - [Chroniques du Bunker de L'Apocalypse] - Projet Geiger - Culture ethnobotanique en France

tarsonis
Co-administrateur

Masculin Nombre de messages : 7988
Age : 30
Localisation : Est
Loisirs : Randonnée, botanique, bidouillages DIY, médecine, bouquins SF.
Date d'inscription : 21/05/2008

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: Copie du Forum

Message par nooneelse le Jeu 10 Déc 2015 - 18:08

Bon la copie est terminée. A la fin de l'indexation, j'ai eu le message suivant :



Je ne sais pas comment cela va se traduire sur la copie. Je sais que certaines catégories ne sont pas accessibles :
- fiches de synthèse
- espace coopératif
- Club house

Quand j'essaye d'ouvrir ces trois parties en offline j'ai le message suivant :

This file was not retrieved by Teleport Pro, because it is addressed on a path excluded by the site's Robot Exclusion parameters.  (Teleport Pro's compliance with this system is optional; see the Project Properties, Netiquette page.) 

A priori si je comprends bien, il y aurait moyen de passer outre... A voir.
J'ai essayé de récupérer la partie des fiches de synthèse en partant du lien : http://www.le-projet-olduvai.com/f23-fiches-de-synthese   mais sans succès.

Pas de milliers de sites copiés en même temps.
Le répertoire final fait 1.7 Go (avec les 7956 images).
Sans les images, c'est à peu près 1 Go.
J'ai compressé le répertoire complet avec winrar en mettant l'option de compression à "optimale". L'archive fait un peu plus de 900 Mo.
Sans les images, l'archive (même option) fait 181 Mo.


J'attends vos retours et suggestions (surtout les admins/modos).

- Essaye-t-on de tout récupérer?
- Est-ce qu'on se contente de tout sauf les trois parties?
- Met-on à dispo les deux archives : avec et sans images
- Fréquence de l'archivage du forum

Il faut aussi que je vois pour le message d'erreur dont je parle au début du message.

Enfin voilà quoi.

A vous de jouer fumeur

nooneelse
Membre Premium

Masculin Nombre de messages : 193
Date d'inscription : 21/11/2015

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: Copie du Forum

Message par Ash le Dim 13 Déc 2015 - 0:32

Je retente sous peu (demain ?) je vais voir avec wget pour le faire refonctionner, vous tient au jus !

Ash
Modérateur à temps partiel

Masculin Nombre de messages : 5681
Age : 31
Localisation : Terre du milieu (23)
Date d'inscription : 02/10/2008

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: Copie du Forum

Message par tarsonis le Sam 29 Oct 2016 - 20:57

Salut,
@nooneelse : Dingue, j'étais persuadé de t'avoir répondu à l'époque, désolé.
En gros, les scripts de DL du forum que j'ai fait tourner se mettent toujours à repomper soit des sites annexe, quand bien même tu verrouille le nombre de DL externes à 0, soit à boucler sur des pages css (j'en ai qui arrivent au max des OS avec les sous-sous-...-sous dossiers).

En revanche, je viens de trouver un soft qui permet d'ajouter des filtres et de changer les paramètres à la volée, donc d'éviter ce genre d'écueil.
Pour l'instant 3000 pages, 150Mo avec les images en 50 minutes...et toujours pas blacklisté clind'oeil

________________________________________________________
Nous devons apprendre à vivre ensemble comme des frères, sinon nous allons mourir tous ensemble comme des idiots. M. L. K.
Step It Up - Mia Dolls - Un Mauvais Fils - 25 Years of Zelda - Machinarium - Récapitulatif des projets électroniques - [Chroniques du Bunker de L'Apocalypse] - Projet Geiger - Culture ethnobotanique en France

tarsonis
Co-administrateur

Masculin Nombre de messages : 7988
Age : 30
Localisation : Est
Loisirs : Randonnée, botanique, bidouillages DIY, médecine, bouquins SF.
Date d'inscription : 21/05/2008

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: Copie du Forum

Message par nooneelse le Lun 31 Oct 2016 - 21:00

@tarsonis J'ai relu les résultats de ce que j'avais obtenu (taille et temps de récupération) ton soft a l'air d'être bien meilleur que ce que j'avais trouvé. Tu as pu finir la récup du forum en entier? Combien de pages? Et pour quel poids? As-tu réussi à avoir toutes les rubriques?

nooneelse
Membre Premium

Masculin Nombre de messages : 193
Date d'inscription : 21/11/2015

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: Copie du Forum

Message par tarsonis le Lun 31 Oct 2016 - 21:07

Salut,
pour le moment sur cinq heures environ 15000 pages pour 800Mo avec les images...mais aussi environ 200Mo de PDF car c'est pris en lien externe de niveau 0. clind'oeil

Le tout sur 60000 pages détectées et 25000 filtrées. Yapuka laisser la moulinette tourner. Le plus chronophage étant la reconstitution du forum puisque la plupart des topics se croisent et se recroisent...

________________________________________________________
Nous devons apprendre à vivre ensemble comme des frères, sinon nous allons mourir tous ensemble comme des idiots. M. L. K.
Step It Up - Mia Dolls - Un Mauvais Fils - 25 Years of Zelda - Machinarium - Récapitulatif des projets électroniques - [Chroniques du Bunker de L'Apocalypse] - Projet Geiger - Culture ethnobotanique en France

tarsonis
Co-administrateur

Masculin Nombre de messages : 7988
Age : 30
Localisation : Est
Loisirs : Randonnée, botanique, bidouillages DIY, médecine, bouquins SF.
Date d'inscription : 21/05/2008

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: Copie du Forum

Message par nooneelse le Lun 31 Oct 2016 - 21:44

15000 pages....ah ouais quand même....Et que des pages du forum?
Euh rassur moi, la reconstitution du forum c'est pas toi qui la fait mais le soft ??? drunken

nooneelse
Membre Premium

Masculin Nombre de messages : 193
Date d'inscription : 21/11/2015

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Page 4 sur 4 Précédent  1, 2, 3, 4

Voir le sujet précédent Voir le sujet suivant Revenir en haut

- Sujets similaires

 
Permission de ce forum:
Vous ne pouvez pas répondre aux sujets dans ce forum