Remdec

topic_dler_README

Aug 19th, 2018
293
0
Never
Not a member of Pastebin yet? Sign Up, it unlocks many cool features!
text 6.05 KB | None | 0 0
  1. Bienvenue dans le guide d'utilisation de topic_dler !
  2.  
  3. Ce script est développé et maintenu pour l'élite de la nation. Tout utilisateur en dessous de la moyenne basse du forum est prié de fermer ce document, de retourner méditer dans sa médiocrité.
  4.  
  5. Développé par Kyprinite.
  6. Le code est open source : https://github.com/RemDec/topic_dler
  7. Version actuelle : alpha 6 (topic_dler.0.6)
  8.  
  9. 1.PRINCIPE
  10.  
  11. Cette application a pour objectif le "minage" de topics de n'importe quel forum jeuxvideo.com (+JVParallele) c-à-d le téléchargement automatique de tout type de ressource postée sur un topic : images (stickers ou autre), webm cachée derrière un URL, vocaroo mais également les posts en eux-mêmes et les risitas.
  12. L'idée générale étant de télécharger localement tout ce qu'on peut tirer du topic (toutes les pages sont parcourues automatiquement) à partir d'un URL d'une des pages que vous fournissez.
  13. L'application inclut également une part d'intelligence pour le tri automatique des stickers si désiré, ou même la détection des posts étant un chapitre de risitas.
  14.  
  15. Si vous le désirez vous pouvez donc carrément télécharger le topic en entier ! (toutes les pages sont alors rassemblées bout à bout dans un fichier HTML (page internet) que vous obtenez en local, donc reconsultable même si le topic est 410!).
  16.  
  17.  
  18. 2.FONCTIONNALITES
  19.  
  20. L'interface graphique est complète, vous ne devez saisir que l'URL d'une des pages du topic pour lancer la collecte automatique de tout ce que vous ciblez, déterminé par les options ci-bas.
  21.  
  22. 2.1 RESSOURCES
  23. -images/stickers : vous pouvez choisir d'activer le tri automatique et ne dl que les images qui ne sont pas des stickers, ou juste ceux-ci. Le slider à droite indique à quel point l'IA doit travailler pour trier, donc demander plus de ressources à votre processeur. Mais vous pouvez le laisser à 1, c'est très rapide au final !
  24. -webm : le script tentera de dl les webm données par des URL dans les posts du topic
  25. -vocaroo : si un lien vers le site vocaroo.com est donné, dl le son en .mp3
  26. -posts : créera une page HTML en local avec tous les posts des forumeurs sélectionnés sur le topic (incluant images noelshack clickables, même si topic 410 bien sur!)
  27. -RISITAS : utilise une IA pour trier et ne garder que les posts qui sont des chapitres de l'histoire, et en crée une page HTML. Vous pourrez lire tout le récit de l'op sans interruption !
  28.  
  29.  
  30. 2.2 DOSSIER CIBLE
  31. Puisque le script va dl tout ce que vous voulez, vous pouvez indiquer le dossier cible dans lequel les ressources seront placées, ou si vous ne donnez rien ce sera là ou l'appli est lancée. Si <nouveau dossier>, tout sera placé dans un sous-dossier au nom du topic et si <post-ouverture> et sous Windows, ouvrira l'explorateur de base là où tout a été dl à la fin.
  32.  
  33. 2.3 FORUMEURS CIBLES
  34. Si seuls les posts de quelques kheys vous intéressent (en particulier l'op pour lequel vous avez un raccourci) vous pouvez rentrer leurs pseudos dans la fenêtre contextuelle ouverte par le bouton <autres>. Le script ne fera ses recherches que dans ces posts sélectionnés, ou dans tous si aucun n'est spécifié.
  35.  
  36. 2.4 DIVERS
  37. -<abréviations> : les noms de fichiers depuis noelshack etc. sont souvent longs et réduisent la visibilité dans votre gallerie. Cette option les écourte grandement pour que ce soit plus propre
  38. -<verbeux> : affiche ou non les infos au cours de l'exécution du script (joli mais utile aussi)
  39. -<noms auto> : les fichiers se verront attribuer des noms automatiques en fonction de l'ordre de leur dl
  40. -slider <puissance> : désigne l'acharnement du script pour récupérer une ressource qui n'est pas retournée par le serveur la 1ere fois parce qu'il boude. Mettez à 1 pour que le script ne lache rien !
  41.  
  42. Copiez/collez l'url d'une page du topic sur lequel vous voulez lancer le script avez vos options, appuyez sur go et allez vous astiquer le jonc le temps qu'il travaille !
  43.  
  44.  
  45. 3.TRUCS SYMPAS
  46. 3.1 Multi-threading : vous pouvez lancer le script sur plusieurs topics en même temps ! Une fenêtre s'ouvrira pour chaque thread affichant la progression pour le topic lié !
  47.  
  48. 3.2 Adaptation à JVParallel
  49. Malheureusement l'utilisation n'est pas aussi simple. Vous allez devoir enregistrer la page du topic localement avant d'appliquer le script dessus (la page résultant parès l'exécution du Javascript lié à JVP).
  50. Pour cela utilisez l'extension Firefox Save Page WE : https://addons.mozilla.org/en-US/firefox/addon/save-page-we/
  51. Une fois le téléchargement de la page HTML fini, dans la barre à url c/c le chemin de ce fichier sur votre pc et lancez le script normalement (il n'ira pas sur toutes les pages du topic)
  52.  
  53. 3.3 Les images dl possèdent les données EXIF originales !
  54.  
  55. 3.4 Les utilisateurs sous autres OS que Windows ne pouvant pas lancer le .exe peuvent toujours prendre le code source depuis le github et l'exécuter avec Python 3 en attendant le déploiement sur ces plateformes
  56.  
  57. 4.A QUOI CA SERT?
  58. Les utilisations sont assez variées, les kheys sont inventifs! Mais en voici quelques-unes :
  59. -Se constituer une galerie de BELLES photos alimentée par les kheys suicidaires. Rendez hommage à ces héros de la plus belle des manières, et ne pleurez plus quand l'ombre du 410 s'abat enfin sans que vous n'ayez eu le temps de le faire manuellement!
  60. -Des galeries de n'importe quel type en fait : fond d'écrans, photos historiques/lieux abandonnés, portraits, webm droles, etc.
  61. -Se faire une banque de stickers locale colossale
  62. -Retirer l'intéressant des topics à haut potentiel qui font beaucoup de pages sans qu'un khey se sacrifie pour le résumé (screens, sélectionner uniquement les messages de l'op pour rattraper l'histoire,..)
  63. -Pouvoir lire un risitas sans aucune interruption/changement de page/recherche de chapitre au milieu de 1000 pages
  64. -Préserver une trace d'un topic avant son 410 tout simplement (les liens noelshack seront toujours cliquables depuis la page html locale)
  65.  
  66.  
  67.  
  68. Bonne collecte les crays !
Advertisement
Add Comment
Please, Sign In to add comment