{"word_count": 1396, "character_count": 9301}
REGLES DE TRAITEMENTI) Marchandises normalisées orthographiquement (niveau 0 original =&#62; niveau 1 orthographe normalisée01. Singulier/pluriel01.a si toutes les occurences sont au singulier, ou toutes au pluriel, on ne touche à rien.01.b si au moins 75% des occurences sont au singulier (ou au pluriel), on met au singulier (ou au pluriel) les 25% restantNB: si une forme est ambigue (e.g. agrémens, peut être singulier), elle n'est pas prise en compte dans le calcul01.c dans tous les autres cas, on met au singulier le substantif à l'usage mixte et les adjectifs qui en dépendent directement, mais rien d'autreAgréments de fils =&#62; agrément de fils01.d Les mêmes règles s'appliquent aux qualificatifs, etc. en cas de multiplicité des formes SAUF si le genre du qualificatif est gouverné par le genre du substantif (évidemment... arçons à selle possible lorsque l'on a à selle dans certains cas et à selles dans d'autres, mais pas arçons sellé, sans s)01.e Si plusieurs substantifs sont enchaînés, le singulier domine (si un substantif au singulier et un au pluriel, tout au singulier)01.f Si une forme singulier ou pluriel n'est pas attestée par les dictionnaire, alors qu'elle est dominante dans la base, mais sur un petit nombre d'occurrences et sous des formes majoritairement corrompues, la forme du dictionnaire est inséréeAlibania, alibanic, alibanir, alibanis dans la base ; alibanies dans tous les dictionnaires =&#62; alibanies02. Tout est mis en minuscules sauf les noms propres [=&#62; liste des noms propres maintenue à part]03. Unification des formes orthographiques différentes: unifier uniquement a) si les occurrences d'une des deux formes à unifier sont inférieures à trois; b) si les deux formes à unifier relèvent de l'un des cas suivants:N.B.: Si plusieurs formes de la base sont attestées dans les dictionnaires, on garde celle qui se trouve dans la base et qui est la plus fréquente; en cas de doute (moins de 75%/25%), on garde la première dans l'ordre alphabétique.ajanis, janis =&#62; ajanis03.a La différence vient d'une différence singulier/pluriel attestée dans les dictionnaires ails = aulx03.b Le nombre de syllabe est identique (e muet compté comme une syllabe) et les phonèmes sont identiques dans l'ordre sur les deux types d'occurencesacier = assié03.c Les phonèmes peuvent être considérées comme identiques si les deux conditions 03.c.1 ET 03.c.2 sont remplies:03.c.1 consonnes de même type d'une des deux façons suivantes- soit phonétiquement (occlusives vs fricatives.)alquifoux = arquifoux- soit proches par la forme de la lettrealpargalle = alpargatte03.c.2 voyelle identique (hors diphtongue)aracq = arak, alpargalle = alpargatte03.d Les phonèmes finaux sont considérés comme identiques si terminaison latine / terminaison moderne (e / us); on garde la forme la plus fréquente à 75%; si doute, garder la forme latine:antimoine = antimonium =&#62; antimoine si antimoine est plus fréquent, antimonium autrement.03.e La seule différence entre les deux occurrences est le placement des espaces:alqui foux = alquifoux03.f A l'occasion, essayer de rechercher dans le pdf d'origine une erreur de transcription (ad lib/wishful thinking)04. Unifier ?, ??, ??? et autres expressions de doute en "???"? brun =&#62; ??? brun05 Moderniser l'orthographe05.a Utiliser une orthographe moderne chaque fois que cela est possible, y compris en cas de changement de genrebierre d'angleterre =&#62; bière d'AngleterreAgats fins =&#62; agate fine05.b En cas de cohabitation de formes modernes et anciennes, la normalisation se fait a) en fonction du nombre d'occurrence (75/25 comme singulier/pluriel); b) uniquement sur la forme moderne sauf si c'est du latinail + ail + ails + aux + aux + aux + aux =&#62; ail06 En cas de produit inconnu,06.a Faire d'abord une recherche rapide dans les principaux dictionnaires et sources primairesN.B.: En cas de résultat, noter référence ET définition (réintégrer le dictionnaire de Loïc comme colonne dle cas échéant)06.b A l'occasion, essayer de rechercher dans le pdf d'origine une erreur de transcription (ad lib/wishful thinking)07 supprimer les séparateurs (virgules, points-virgules, "/")Ajustements ; de femme =&#62; ajustement de femmeII) Marchandises simplifiées (niveau 1 orthographe normalisée =&#62; niveau 2 marchandises simplifiées)• Etape 1: supprimer les redites1.1 supprimer les doublons séparés par ou en gardant le premier item substantifmercure ou argent vif =&#62; mercureN.B.: veiller à vérifier que les deux termes sont bien identique, et transfomer en qualificatif si nécessaire! dans almagro ou crayon rouge, en fait "almagro" est une provenance, et rajoute de l'info... =&#62; crayon, rouge, almagro1.2 supprimer les "dites", "espèce de", et autres mentions partitivesakia, espèce de salade =&#62; akia, salade• Etape 2: ordonner les items pour préparer la simplification2.1 Ordonner les items substantifs par ordre alphabétique;2.2 Séparer par des "," tous les items qualificatifs, réintroduire des articles partitifs si besoin estBière de Liège, d'Angletere etc =&#62; bière, de Liège, d'Angleterre, etc.agrément, de soie et fil =&#62; agrément, de soie, et de fil2.2 Toujours mettre les items substantifs avant les items qualificatifssalé et mariné, anchois =&#62; anchois, salé, et mariné2.3 quand il y a plusieurs items substantifs qui sont des parties d'un même objet, ordonner du général au particulier les substantifs décrivant l'objet; séparer les ensembles relevant d'un item substantif de rang plus élevé et les ensembles relevant d'un item substantif de rang moins élevé par ":"affûts de canon =&#62; canons : affûts deNB: faire partie d'un objet ne signifie pas être fait d'un matériau (de sapin, par ex.), qui est une qualité, ni appartenir à une catégorie pouvant contenir d'autres objets2.4 séparer par ";" deux ensembles d'items substantifs séparés par "et" ou par une virgule, ôter les "et" entre deux substantifs ; et bien sûr conserver à chaque item substantif l'ensemble des items (adjectifs, adverbes, etc.) associés en les séparant par des virgules:armes à feu et munitions de guerre =&#62; armes, à feu ; munitions, de guerre2.5.a si plusieurs items adjectifs pour un seul item substantif sont séparés par "et", introduire un virguleargent monnayé et brut =&#62; argent, monnayé, et brut2.5.b si un item adjectif apparaît pour plusieurs substantifs, redistribuerargent et or monnayé =&#62; argent, monnayé ; or, monnayé2.6 si le même item substantif apparaît plusieurs fois, unifier les substantifs, et redistribuer les items qualificatifs suivant la règle ci-dessusargent et or monnayé, argent brut =&#62; argent, brut, et monnayé ; or, monnayé2.7 Supprimer les doublons dans les substantifsArmes et artillerie : artillerie =&#62; armes ; artillerie2.8 Lorsque la base utilise deux substantifs hiérarchisés dont l'un catégorise l'autre, de type "élément général; élément particulier", transformer "élément général" en un qualificatif, et d'une façon générale transformer les catégories supérieures en qualificatifs du substantif  de niveau le plus bas dans l'échelle des catégories, en redistribuant les qualificatifs si nécessaire:bête, de somme : cheval =&#62; cheval, bête de sommeArmes et artillerie : artillerie : canons, pierriers, espingoles et mortiers =&#62; armes ; canons, artillerie ; pierriers, artillerie ; espingoles, artillerie ; mortiers, artillerie2.9 en cas de doute sur un qualificatif (pas de certitude sur sur quoi porte un adjectif), chosir la solution la plus probable et signaler qu'un choix a été faitagréments, de soie or et argent faux =&#62; agréments, de soie, d'or faux, d'argent fauxN.B.: pour les substantifs, on peut le plus souvent déciderargent; or; quadruples =&#62; argent ; or : quadruples, puisque la pistole est en or...Mais quand on ne peux pas, là encore choisir et noter qu'il y a eu choixcas fictif: argent; or ; en pièces =&#62; argent, en pièces ; or, en pièces• Etape 3 : unifier par jugement qualitatif les mots proches [=&#62; garder liste], c'est l'étape de simplification proprement dite3.1 Gestion des variantes de contenu avec contenu identique3.1.a Unifier les formes adjectivales (en monnaie, monnayé), sur forme la plus simple (moins de mot)argent monnayé =&#62; argent, monnayéargent en monnaie =&#62; argent, monnayé3.1.b: Si "substantif 1; adjectif 1" et "adjectif substantivé 1", garder version séparant substantif et adjectifCampêche =&#62; bois, de Campêche3.2 Singulier/pluriel (encore...): si un substantif ou un qualificatif apparaît au singulier à un endroit et au pluriel à un autre (seul au singulier, en combinaison au pluriel, par exemple) =&#62; on passe tout au singulier.3.3. Unification en classes [c'est le seul niveau ou on fait du qualitatif, à évoquer]3.3.1 unifier les termes à contenu sémantique identique, en privilégiant ceux qui ont leur propre catégories; NOTER le choix fait, qu'il faudra vérifier (contrôle de qualité)Arbrisseaux n'apparaît qu'en composé, contrairement à arbustes =&#62; arbustes3.3.2: unifier les qualités (changer "avec" en "et"; "de" en "en" =&#62; "de fer" / "en fer") mais attention à ne pas mélanger des qualités différentes: "de bois" (venant de forêts) n'est pas "en bois", etc.Bidets ; de fayence ; avec leurs prez en bois =&#62; bidets, de faïence ; leurs pieds, en bois