ComposantsComponents › Qualité de donnéesData Quality
Dédoublonne un flux selon une clé faite d'une ou plusieurs colonnes : la première ligne de chaque clé part par le lien Uniques, les suivantes par le lien Duplicates. Les lignes gardent leur ordre d'arrivée et toutes leurs colonnes. Les textes se comparent sans tenir compte de la casse, sauf pour une colonne marquée Sensible à la casse. Removes the duplicates of a flow on a key made of one or more columns: the first row of each key leaves through the Uniques link, the next ones through the Duplicates link. The rows keep their order of arrival and all their columns. Texts are compared without regard to case, except for a column marked Case sensitive.
EntréeInput
Main un fluxone flow
SortieOutput
Uniques la première ligne de chaque cléthe first row of each key
Duplicates les lignes suivantes de la même cléthe next rows of the same key
Un lien de chaque au plus, tous deux facultatifs, avec le schéma de l'entrée. At most one link of each, both optional, with the input schema.
Déclencheurs en sortieOutput triggers
On Component Ok On Component Error Run if
Chaque ligne part aussitôt reçue, par un seul des deux liens : le composant retient les clés déjà vues, pas les lignes. Un lien absent fait disparaître ses lignes : sans Duplicates, le tUniqRow ne garde que la première ligne de chaque clé. Each row leaves as soon as it is received, through only one of the two links: the component keeps the keys already seen, not the rows. A missing link drops its rows: without Duplicates, the tUniqRow only keeps the first row of each key.
Les libellés sont ceux de l'onglet Composant ; le nom technique, en gris, est celui du paramètre dans le fichier du job. Labels are those of the Component tab; the technical name, in grey, is the parameter name in the job file.
| ParamètreSetting | DéfautDefault | VisibleShown | Description |
|---|---|---|---|
| SchémaSchemaSCHEMA | videempty | ToujoursAlways | Les colonnes de l'entrée, reçues avec le lien. Uniques et Duplicates sortent avec ce même schéma : toutes les colonnes sont recopiées. The input columns, received with the link. Uniques and Duplicates go out with this same schema: all the columns are copied. |
| Clé uniqueUnique keyUNIQUE_KEY | aucune colonne cochéeno column checked | ToujoursAlways |
Une ligne par colonne du schéma, avec deux cases :
One line per column of the schema, with two boxes:
|
| ParamètreSetting | DéfautDefault | VisibleShown | Description |
|---|---|---|---|
| Seulement une fois chaque clé dupliquéeOnly once each duplicated keyONLY_ONCE_EACH_DUPLICATED_KEY | NonNo | ToujoursAlways | Duplicates ne reçoit que le premier doublon de chaque clé (sa deuxième ligne) ; les suivants disparaissent. Uniques ne change pas. Voir Pièges pour le compte des doublons. Duplicates only receives the first duplicate of each key (its second row); the next ones are dropped. Uniques does not change. See Pitfalls for the count of duplicates. |
| Utiliser le disque (convient au traitement d'un grand nombre de lignes)Use of disk (suitable for processing large row set)IS_VIRTUAL_COMPONENT | NonNo | ToujoursAlways | Les lignes sont rangées par paquets dans des fichiers temporaires triés sur la clé, fusionnés, puis remises dans leur ordre d'arrivée. Le résultat est le même qu'en mémoire (exemple), mais rien ne sort avant la dernière ligne reçue. The rows are stored by batches in temporary files sorted on the key, merged, then put back in their order of arrival. The result is the same as in memory (example), but nothing leaves before the last row received. |
| Taille de la mémoire tamponBuffer size in memoryBUFFER_SIZE | Moyenne (1 million)Medium(1million) | Utiliser le disque cochéUse of disk checked | Nombre de lignes gardées en mémoire avant l'écriture d'un fichier temporaire : 500 000, 1 000 000 ou 2 000 000. La liste accepte aussi un nombre saisi, sans guillemets. Le tampon est réservé en entier au démarrage du sous-job, même pour un petit flux. Number of rows kept in memory before a temporary file is written: 500,000, 1,000,000 or 2,000,000. The list also accepts a typed number, without quotes. The buffer is reserved in full when the subjob starts, even for a small flow. |
| Répertoire des fichiers temporairesDirectory for temp filesTEMP_DIRECTORY | videempty | Utiliser le disque cochéUse of disk checked |
Dossier des fichiers temporaires, en expression Java : "C:/temp". Les fichiers sont effacés à l'arrêt de la JVM. Obligatoire : vide, le job ne compile pas (voir Pièges).
Folder of the temporary files, as a Java expression: "C:/temp". The files are deleted when the JVM stops. Required: empty, the job does not compile (see Pitfalls).
|
| Ignorer les zéros de fin pour BigDecimalIgnore trailing zeros for BigDecimalCHANGE_HASH_AND_EQUALS_FOR_BIGDECIMAL | NonNo | ToujoursAlways |
Pour une colonne BigDecimal de la clé : 1.5 et 1.50 deviennent la même clé. Sans elle, le nombre de décimales compte : ce sont deux clés (exemple).
For a BigDecimal column of the key: 1.5 and 1.50 become the same key. Without it, the number of decimals counts: they are two keys (example).
|
NB_UNIQUES et NB_DUPLICATES (Integer, disponibles après le composant) : le nombre de lignes uniques et le nombre de doublons. Ils se comptent même sans le lien correspondant. NB_UNIQUES and NB_DUPLICATES (Integer, available after the component): the number of unique rows and the number of duplicates. They are counted even without the matching link.
((Integer) globalMap.get("tUniqRow_1_NB_UNIQUES"))
((Integer) globalMap.get("tUniqRow_1_NB_DUPLICATES"))
Un tFixedFlowInput envoie huit lignes au tUniqRow. Uniques va à tLogRow_1, Duplicates à tLogRow_2 : deux tLogRow qui affichent leur nom devant chaque ligne. Un tJava relié par On Subjob Ok affiche NB_UNIQUES et NB_DUPLICATES. Sorties copiées depuis une exécution du job.
A tFixedFlowInput sends eight rows to the tUniqRow. Uniques goes to tLogRow_1, Duplicates to tLogRow_2: two tLogRow that print their name in front of each row. A tJava connected with On Subjob Ok prints NB_UNIQUES and NB_DUPLICATES. Outputs copied from a run of the job.
| idInteger | nameString | cityString |
|---|---|---|
| 1 | Ada | Paris |
| 2 | ada | Paris |
| 3 | Grace | Lyon |
| 4 | Ada | Lyon |
| 5 | null | Lyon |
| 6 | Grace | Lyon |
| 7 | null | Paris |
| 8 | Ada | Paris |
name, casse ignoréeKey name, case ignored
Réglages par défaut, name cochée. « ada » (ligne 2) est un doublon d'« Ada » ; les deux nulles (lignes 5 et 7) sont la même clé. Chaque ligne sort dès son arrivée.
Default settings, name checked. “ada” (row 2) is a duplicate of “Ada”; the two nulls (rows 5 and 7) are the same key. Each row leaves as soon as it arrives.
[tLogRow_1] 1|Ada|Paris [tLogRow_2] 2|ada|Paris [tLogRow_1] 3|Grace|Lyon [tLogRow_2] 4|Ada|Lyon [tLogRow_1] 5||Lyon [tLogRow_2] 6|Grace|Lyon [tLogRow_2] 7||Paris [tLogRow_2] 8|Ada|Paris NB_UNIQUES=3, NB_DUPLICATES=5
Clé name avec Sensible à la casse coché : « ada » devient une clé à part.
Key name with Case sensitive checked: “ada” becomes a key of its own.
[tLogRow_1] 1|Ada|Paris [tLogRow_1] 2|ada|Paris [tLogRow_1] 3|Grace|Lyon [tLogRow_2] 4|Ada|Lyon [tLogRow_1] 5||Lyon [tLogRow_2] 6|Grace|Lyon [tLogRow_2] 7||Paris [tLogRow_2] 8|Ada|Paris NB_UNIQUES=4, NB_DUPLICATES=4
name et city cochées, casse ignorée : il faut les deux égales. « Ada, Lyon » (ligne 4) et « null, Paris » (ligne 7) sont de nouvelles clés.
name and city checked, case ignored: both must be equal. “Ada, Lyon” (row 4) and “null, Paris” (row 7) are new keys.
[tLogRow_1] 1|Ada|Paris [tLogRow_2] 2|ada|Paris [tLogRow_1] 3|Grace|Lyon [tLogRow_1] 4|Ada|Lyon [tLogRow_1] 5||Lyon [tLogRow_2] 6|Grace|Lyon [tLogRow_1] 7||Paris [tLogRow_2] 8|Ada|Paris NB_UNIQUES=5, NB_DUPLICATES=3
Clé name, option cochée : Duplicates ne reçoit qu'un doublon par clé (lignes 2, 6 et 7) ; les lignes 4 et 8, deuxièmes doublons d'Ada, disparaissent. NB_DUPLICATES les compte pourtant (voir Pièges).
Key name, option checked: Duplicates only receives one duplicate per key (rows 2, 6 and 7); rows 4 and 8, second duplicates of Ada, are dropped. NB_DUPLICATES still counts them (see Pitfalls).
[tLogRow_1] 1|Ada|Paris [tLogRow_2] 2|ada|Paris [tLogRow_1] 3|Grace|Lyon [tLogRow_1] 5||Lyon [tLogRow_2] 6|Grace|Lyon [tLogRow_2] 7||Paris NB_UNIQUES=3, NB_DUPLICATES=5
Clé name, Utiliser le disque coché, dossier temporaire renseigné, tampon saisi à 3 : les huit lignes passent par trois fichiers temporaires. Même résultat, même ordre que le premier exemple ; les lignes ne sortent qu'une fois toutes reçues.
Key name, Use of disk checked, temporary folder filled in, buffer typed as 3: the eight rows go through three temporary files. Same result, same order as the first example; the rows only leave once all of them are received.
[tLogRow_1] 1|Ada|Paris [tLogRow_2] 2|ada|Paris [tLogRow_1] 3|Grace|Lyon [tLogRow_2] 4|Ada|Lyon [tLogRow_1] 5||Lyon [tLogRow_2] 6|Grace|Lyon [tLogRow_2] 7||Paris [tLogRow_2] 8|Ada|Paris NB_UNIQUES=3, NB_DUPLICATES=5
Schéma id (Integer), amount (BigDecimal), clé amount, valeurs 1.5, 1.50, 2, 2.0. Par défaut, le nombre de décimales compte : quatre clés.
Schema id (Integer), amount (BigDecimal), key amount, values 1.5, 1.50, 2, 2.0. By default, the number of decimals counts: four keys.
[tLogRow_1] 1|1.5 [tLogRow_1] 2|1.50 [tLogRow_1] 3|2 [tLogRow_1] 4|2.0 NB_UNIQUES=4, NB_DUPLICATES=0
Avec Ignorer les zéros de fin pour BigDecimal : With Ignore trailing zeros for BigDecimal:
[tLogRow_1] 1|1.5 [tLogRow_2] 2|1.50 [tLogRow_1] 3|2 [tLogRow_2] 4|2.0 NB_UNIQUES=2, NB_DUPLICATES=2
Sans Attribut de clé coché, le composant ne dédoublonne plus, et ses deux modes ne font pas la même chose. En mémoire, chaque ligne part par les deux liens et les compteurs restent à zéro (sorties abrégées) : Without any Key attribute checked, the component no longer removes duplicates, and its two modes do not do the same thing. In memory, each row leaves through both links and the counters stay at zero (outputs shortened):
[tLogRow_1] 1|Ada|Paris [tLogRow_2] 1|Ada|Paris [tLogRow_1] 2|ada|Paris [tLogRow_2] 2|ada|Paris … [tLogRow_1] 8|Ada|Paris [tLogRow_2] 8|Ada|Paris NB_UNIQUES=0, NB_DUPLICATES=0
Avec Utiliser le disque, toutes les lignes ont la même clé (vide) : la première est unique, les autres sont des doublons. With Use of disk, all the rows have the same (empty) key: the first one is unique, the others are duplicates.
[tLogRow_1] 1|Ada|Paris [tLogRow_2] 2|ada|Paris [tLogRow_2] 3|Grace|Lyon … [tLogRow_2] 8|Ada|Paris NB_UNIQUES=1, NB_DUPLICATES=7
Défaut du modèle de Talaxie (tUniqRow_main.javajet, cas sans clé). Cochez toujours au moins une colonne.
Defect of the Talaxie template (tUniqRow_main.javajet, no-key case). Always check at least one column.
Utiliser le disque coché et Répertoire des fichiers temporaires laissé vide : le modèle met à la place le dossier par défaut des fichiers (ici celui du workspace) suivi de /temp, mais sans guillemets. Le job ne compile pas. Le nom du job est remplacé par MyJob, les chemins sont abrégés.
Use of disk checked and Directory for temp files left empty: the template puts instead the default folder of the files (here the workspace one) followed by /temp, but without quotes. The job does not compile. The job name is replaced with MyJob, the paths are shortened.
The job failed to compile:
…\MyJob.java:1665: error: ';' expected
String temp_file_path_prefix_tUniqRow_1 = C:/…/workspace/temp + "/" + jobName + "_tUniqRow_1_" + Thread.currentThread().getId() + "_" + pid + "_";
^
…
8 errors
Défaut du modèle de Talaxie (tUniqRowOut_begin.javajet). Renseignez toujours le dossier, entre guillemets.
Defect of the Talaxie template (tUniqRowOut_begin.javajet). Always fill in the folder, in quotes.
En mémoire, NB_DUPLICATES compte tous les doublons, même ceux que l'option ne fait pas sortir (5 pour 3 lignes dans Duplicates, exemple). Avec Utiliser le disque, il ne compte que les lignes sorties :
In memory, NB_DUPLICATES counts all the duplicates, even those the option does not send out (5 for 3 rows in Duplicates, example). With Use of disk, it only counts the rows sent out:
[tLogRow_1] 1|Ada|Paris [tLogRow_2] 2|ada|Paris [tLogRow_1] 3|Grace|Lyon [tLogRow_1] 5||Lyon [tLogRow_2] 6|Grace|Lyon [tLogRow_2] 7||Paris NB_UNIQUES=3, NB_DUPLICATES=3
Écart entre les modèles de Talaxie (tUniqRow_main.javajet et tUniqRowIn). Pour connaître les lignes sorties, comptez-les après le lien Duplicates.
Gap between the Talaxie templates (tUniqRow_main.javajet and tUniqRowIn). To know the rows sent out, count them after the Duplicates link.
Clé x (Double), valeurs 0.3 et 0.1 + 0.2. En mémoire, les valeurs doivent être exactement égales : deux clés.
Key x (Double), values 0.3 and 0.1 + 0.2. In memory, the values must be exactly equal: two keys.
[tLogRow_1] 1|0.3 [tLogRow_1] 2|0.30000000000000004 NB_UNIQUES=2, NB_DUPLICATES=0
Avec Utiliser le disque, deux valeurs à moins de 0,00000001 l'une de l'autre sont égales : With Use of disk, two values less than 0.00000001 apart are equal:
[tLogRow_1] 1|0.3 [tLogRow_2] 2|0.30000000000000004 NB_UNIQUES=1, NB_DUPLICATES=1
En mémoire, la clé de chaque ligne unique reste gardée jusqu'à la fin du flux : la mémoire grandit avec le nombre de clés différentes. Pour des millions de clés, cochez Utiliser le disque ; la sortie attend alors la fin du flux. In memory, the key of each unique row stays kept until the end of the flow: the memory grows with the number of different keys. For millions of keys, check Use of disk; the output then waits for the end of the flow.
Uniques reçoit toujours la première ligne de chaque clé, dans l'ordre d'arrivée. Pour garder la plus récente, triez d'abord le flux, date décroissante, avant le tUniqRow. Uniques always receives the first row of each key, in the order of arrival. To keep the most recent one, sort the flow first, date descending, before the tUniqRow.
Le tUniqRow dit si une ligne est un doublon, pas combien de fois sa clé revient. Pour un nombre par clé, utilisez un tAggregateRow avec la fonction nombre. The tUniqRow tells whether a row is a duplicate, not how many times its key comes back. For a count per key, use a tAggregateRow with the count function.
« Ada » et « Ada » sont deux clés : seule la casse peut être ignorée. Nettoyez les colonnes de la clé avant le tUniqRow, par exemple avec un tReplace ou un tJavaRow (trim()).
“Ada” and “Ada ” are two keys: only the case can be ignored. Clean the key columns before the tUniqRow, for example with a tReplace or a tJavaRow (trim()).
tAggregateRow · compter les lignes de chaque clécount the rows of each keytAddCRCRow · une empreinte de plusieurs colonnes, pour comparer des lignesa fingerprint of several columns, to compare rowstFuzzyMatch · rapprocher des valeurs proches, pas seulement égalesmatch close values, not only equal onestFilterRow · garder les lignes qui remplissent des conditionskeep the rows that meet conditionstLogRow · afficher les lignes d'un fluxdisplay the rows of a flow