15/07/2008

Programme


Ce petit message pour vous dire que je développe actuellement un petit programme qui permettra de "pomper" le blog (articles + photos etc) et d'injecter le tout dans une base de données pour réutiliser tout cela dans un autre site web. On pourrait même imaginer que ce programme tourne en arrière plan une fois par jour sur l'autre site, vienne prendre les derniers articles et les injecte dans la base données. Cool, non ?

Je pense qu'on pourrait facilement intégrer cette base de données dans le site Joomla de Max. Max, un commentaire ?

Bonne fin de semaine.

Voilà la première image du programme en fonctionnement: je récupère tous les articles du blog et les images.

ripping

Et voilà toutes les infos dans la database !
Ma petite moulinette fonctionne parfaitement :)

ripping2

17:55 Écrit par Steph dans Général | Lien permanent | Commentaires (13) |  Facebook | | |  del.icio.us | | Digg! Digg

Commentaires

Ahh !
Très bonne idée car ce skynet blog, c'est vraiment archaïque.
Bon courage pour le prochain site :)

Écrit par : ARme | 16/07/2008

Je souhaite en faire un outil assez générique qui permettrait de reprender n'importe quel blog skynet. Ca progresse pas mal, mais vu les nombreux cas possibles (surtout pour le contenu des articles ... qui ne commencent pas toujours pas les mêmes tags), il va falloir que je fasse beaucoup de tests, mais ce n'est pas impossible du tout à faire !). Je vous tiens au courant sur l'état d'avancement de cette application (développée en Java pour ceux qui voudraient savoir, qui est le langage idéal pour ce genre de développement).

Écrit par : Steph | 16/07/2008

Je me réjouis de ce bel effort; tu as vu mcc64.be ?

Écrit par : Max | 16/07/2008

@Max
J'ai vu ton site Joomla, super, bien fait, bon choix de couleurs et de template. Au fait c'est la dernière version 1.5 que tu utilises ?

Écrit par : Steph | 16/07/2008

Je m'amuse pas mal avec les "expressions régulières" pour l'instant, c'est ce qui me permet de faire le "décodage des pages" et de trouver l'information que je souhaite en un minimum de lignes de code.

Écrit par : Steph | 16/07/2008

y'a du bon... par contre News ? ou Blog ?? c'est pas vraiment pareil comme approche

Écrit par : cyborgjeff | 16/07/2008

News ou blog, bonne question ... je ne sais pas ce qui est mieux ! Je pense qu'on devrait garder le principe des news du site de Max, avec possibilité de laisser des commentaires sur les news. En plus de mettre un Forum (phpBB ou autre), qui est toujours bien pratique, et qui, lui, joue un peu le rôle de blog.
Votre avis sur la matière ??
Car l'avantage en gardant le site Joomla de Max, c'est que je vais pouvoir injecter tous les articles du blog dans la database Joomla pour en faire des news (mais bon, y'a un peu de boulot avant d'y arriver :) ).

Écrit par : Steph | 16/07/2008

ahhh Ca prends forme, je pense qu'il faudrait en profiter pour faire un tri et virer tout ce qui n'est pas vraiment à sa place (mes "rien à voir",etc...) n'hésite pas à trancher dans le vif pour garder les trucs c64.

Écrit par : C64 | 16/07/2008

Il ne me reste plus grand chose à faire, le programme est quasi terminé (150 lignes de code ... meci java, les "regex" et JPA :) ). Quant au tri, pas évident, comment le faire ??

Écrit par : Steph | 16/07/2008

@Steph
Félicitation beau boulot.
Sinon pour faire le tri, j'ai une idée.
Tu fais des recherches par mot clé dans les titres et le contenu du message. Si tu trouves le mot clé en question tu les mets dans un fichier de rejet (1 ligne= 1 record).
Après dans le fichier de rejet, tu regardes après des messages qui ont été rejeté par "Erreur". Comme ton fichier auras une structure bien définie tu pourras les réinjecté dans ta base de données avec une procédure qui relira ton fichier avec les records rejeté par "Erreur".

Pour les mots clé, tu les met dans un fichier qui sera lu et mis en mémoire et tu fais une recherche dans les chaines de caractères du titre et du corps du message.

As tu Compris ? Bien à toi.

Écrit par : Axis | 16/07/2008

J'ai effectivement compris ce que tu voulais dire. Et c'est plus simple car je ne devrai "pomper" qu'une seule fois le site. Les "bons" records se trouveront dans la database, et les "mauvais" dans le fichier. J'écrirai simplement une méthode qui pourra facilement relire le fichier et réinjecter si nécessaire les records dans la DB.

Écrit par : Steph | 17/07/2008

@Step : merci pour les fleurs, mais Joomla n'est pas aussi complexe que ce que tu fais (c'est mon point de vue de non-informaticien).
Oui, c'est la version 1.5.4
Courage ! Ca avance bien.
J'ai commencé une DB en filemaker pour ma collection. Quid de la DB du futur site ?

Écrit par : Max | 17/07/2008

@Max
Alors voilà comment je vois les choses :
1) je termine mon module d'importation du blog vers ton site (je vais m'attaquer à l'importation dans la base de données Joomla, dans les tables des 'news').
2) une fois que c'est fait, je fais une mise à jour de la base de données de ton site à partir de la base de données que j'ai en local sur mon pc
3) on fait le design des nouvelles tables 'collectibles' , mais pas via filemaker, je ne pene pas que ça soit une bonnée idée ... à moins qu'on puisse sortir des tables MySQL directement depuis filemaker ??)
4) je m'attaque au développement de nouveaux modules (plugins) Joomla1.5 pour nous permettrede gérer facilement nos collections. Ca c'est la partie (très) compliquée, mais un très bon exercice pour moi :)

Voilà :)

Steph

Écrit par : Steph | 17/07/2008

Les commentaires sont fermés.