Script base de données produits et traitements.

Bonjour,

Nous avons besoin de développer un script de gestion de produits informatiques et traitement.

Il s'agit d'un projet sérieux (comme d'habitude) que nous devons réaliser sous 10 jours.

Régulièrement, nous recevons des nouveaux fichiers CSV de nos fournisseurs et nous devons mettre à jour notre base de données qui regroupe tous les produits.

En fonction du type de produits le nombre de champs du fichier n'est pas le même.
Nous devons effectuer plusieurs traitements avant d'alimenter une table précise.

Les fichiers CSV que nous recevons n'ont pas tous la même structure et nous devons normaliser certaines données.

Pour une famille de produits, nous définissons la structure précise de la base de données. Ensuite nous devons y insérer les infos des différents CSV reçus de différents fournisseurs. Malheureusement le contenu des cellules change en fonction des fournisseurs.

Il faudra pouvoir spécifier les traitements à effectuer sur les champs

Exemple pour les caractéristique d'un PC portable :
Le CSV fournisseur contient cette ligne :
Col 1 : Core i7-720QM (1.6/2.8GHz) 1333MHz
Col 2 : 1000GB (2 x 500GB 7200rpm) SATA
Col 3 : 18,4" Full HD 16:9 (1920x1080) TruBrite

Nous aimerions avoir cela en sortie :
Champ : Type processeur => Core i7
Champ : Caractéritiques processeur = > Core i7-720QM (1.6/2.8GHz) 1333MHz
Champ : Disque dur => 1000Go
Champ : Caractéritiques Disque dur => 1000GB (2 x 500GB 7200rpm) SATA
Champ : Ecran => 18,4
Champ : Caratéristiques Ecran => 18,4" Full HD 16:9 (1920x1080) TruBrite

Problématiques : La syntaxe des données peut changer en fonction des fournisseurs, par exemple pour le même machine un champ peut s'écrire plusieurs façon mais le résultat doit être le même :
Ex :
Core i7 720QM 1.6/2.8GHz 1333MHz => doit devenir : Core i7
Core I7-720 QM de 1.6 à 2.8GHz 1333MHz => doit devenir : Core i7
CORE I 7 720 QM (1.6/2.8GHz) 1333MHz => doit devenir : Core i7

Je pense qu'il faut un système de traitement en mode architecture permettant de pouvoir créer des règles, des conditions, de remplacer, fusionner afin de normaliser le tout.

Par exemple pour les processeur plus haut :
Pourvoir créer des règles pour le CSV fournisseur comme cela :
On charge le fichier
Le système compare et propose toutes les variantes de la colonne choisie
On définit les règles pour les données
et ainsi de suite sur toutes les colonnes.
Il faut bien sur pouvoir enregister les règles pour le fichier afin de pouvoir s'en re servir lors de la prochaine mise à jour en identifiant les infos que n'ont jamais été traitées.
Chaque produit à une référence unique.
Le système doit aussi être capable de détecter si une référence n'existe plus dans le nouveau CSV afin de lui donnée un statut désactivé dans la base : cela veut dire que le produit n'est plus à la vente.

Cordialement,
Gui