ComposantsComponents › TraitementProcessing
Regroupe les lignes d'un flux selon une ou plusieurs colonnes, comme un GROUP BY en SQL, et calcule pour chaque groupe un nombre, une somme, une moyenne, un minimum, une liste… Les lignes peuvent arriver dans n'importe quel ordre : le composant les accumule et sort une ligne par groupe une fois le flux terminé.
Groups the rows of a flow on one or more columns, like a GROUP BY in SQL, and computes for each group a count, a sum, an average, a minimum, a list… Rows can arrive in any order: the component accumulates them and outputs one row per group once the flow is over.
EntréeInput
Main un flux, obligatoireone flow, required
SortieOutput
Main un flux, obligatoire : une ligne par groupeone flow, required: one row per group
Déclencheurs en sortieOutput triggers
On Component Ok On Component Error Run if
Les groupes ne partent qu'après la dernière ligne reçue : tant que le flux d'entrée dure, rien ne sort. Tous les groupes restent en mémoire jusque-là. The groups only leave after the last row received: while the input flow lasts, nothing comes out. All the groups stay in memory until then.
Les libellés sont ceux de l'onglet Composant ; le nom technique, en gris, est celui du paramètre dans le fichier du job. Labels are those of the Component tab; the technical name, in grey, is the parameter name in the job file.
| ParamètreSetting | DéfautDefault | OngletTab | Description |
|---|---|---|---|
| SchémaSchemaSCHEMA | videempty | Paramètres simplesBasic settings | Les colonnes de sortie : les clés de regroupement et les résultats. Il ne suit pas le schéma d'entrée. The output columns: the grouping keys and the results. It does not follow the input schema. |
| Group byGROUPBYS | videempty | Paramètres simplesBasic settings | Une ligne par clé : Colonne de sortie et Position de la colonne d'entrée (la colonne lue, choisie par son nom). Deux lignes sont dans le même groupe si toutes leurs clés sont égales ; deux nulles sont égales. Sans aucune clé, tout le flux forme un seul groupe. One line per key: Output column and Input column position (the column read, chosen by its name). Two rows are in the same group if all their keys are equal; two nulls are equal. Without any key, the whole flow is a single group. |
| OpérationsOperationsOPERATIONS | videempty | Paramètres simplesBasic settings |
Une ligne par résultat : Colonne de sortie, Fonction (nombre par défaut, voir Fonctions), Position de la colonne d'entrée et Ignorer les valeurs nulles : cochée, une ligne dont la colonne d'entrée est nulle ne compte pas pour ce résultat.
One line per result: Output column, Function (count by default, see Functions), Input column position and Ignore null values: checked, a row whose input column is null does not count for this result.
|
| Séparateur (seulement pour les opérations de liste)Delimiter (only for list operation)LIST_DELIMITER | "," |
Paramètres avancésAdvanced settings |
Placé entre les valeurs de la fonction liste. Expression Java : gardez les guillemets.
Placed between the values of the list function. Java expression: keep the quotes.
|
| Utilise une précision financière, précision maximale pour les opérations "sum" et "avg", si cochée, utilisera plus de mémoire et sera plus lent.Use financial precision, this is the max precision for "sum" and "avg" operations, checked option heaps more memory and slower than unchecked.USE_FINANCIAL_PRECISION | OuiYes | Paramètres avancésAdvanced settings |
Pour somme et avg d'une colonne Float, Double ou BigDecimal vers une colonne de l'un de ces types : le calcul se fait en BigDecimal, sans les erreurs d'arrondi des nombres à virgule (exemple).
For sum and avg from a Float, Double or BigDecimal column to a column of one of these types: the computation is done in BigDecimal, without the rounding errors of floating-point numbers (example).
|
| Vérification du dépassement du type (plus lent)Check type overflow (slower)CHECK_TYPE_OVERFLOW | NonNo | Paramètres avancésAdvanced settings | Une somme qui dépasse la capacité de son type arrête le job avec un message, au lieu de donner un résultat faux (exemple). A sum that exceeds the capacity of its type stops the job with a message, instead of giving a wrong result (example). |
| Vérification ULP (Unité en dernière location), assure que la valeur est incrémentée ou décrémentée correctement, seulement pour les types float ou double. (plus lent)Check ULP (Unit in the Last Place), ensure that a value will be incremented or decremented correctly, only for float and double types. (slower)CHECK_ULP | NonNo | Paramètres avancésAdvanced settings | Pour une somme calculée en float ou double (sans précision financière) : arrête le job quand une valeur ajoutée est trop petite pour changer le total. For a sum computed in float or double (without financial precision): stops the job when an added value is too small to change the total. |
null). liste (objet) : les mêmes dans une java.util.List.
list: the values in their order of arrival, separated by the delimiter (a null is written null). list(object): the same in a java.util.List.
NaN avec moins de deux valeurs.
standard deviation: the sample standard deviation (division by n − 1); NaN with fewer than two values.
somme, avg, Déviation standard : une colonne de nombres vers une colonne de nombres.
sum, avg, standard deviation: a number column to a number column.
nombre, compte (distinct) : une colonne de nombres.
count, count(distinct): a number column.
min, max, premier, dernier : le même type que la colonne d'entrée.
min, max, first, last: the same type as the input column.
liste : String ; liste (objet) : List.
list: String; list(object): List.
Sinon, le job écrit un avertissement sur la sortie d'erreur et la colonne reste vide (voir Pièges). Otherwise, the job writes a warning on the error output and the column stays empty (see Pitfalls).
Le composant n'en déclare pas, mais le code généré range le nombre de groupes dans NB_LINE (Integer, disponible après le composant) : The component declares none, but the generated code stores the number of groups in NB_LINE (Integer, available after the component):
((Integer) globalMap.get("tAggregateRow_1_NB_LINE"))
Un tFixedFlowInput envoie les lignes au tAggregateRow, suivi d'un tLogRow. Sorties copiées depuis une exécution du job ; dans les erreurs, le nom du job est remplacé par MyJob et les traces sont abrégées.
A tFixedFlowInput sends the rows to the tAggregateRow, followed by a tLogRow. Outputs copied from a run of the job; in the errors, the job name is replaced with MyJob and the traces are shortened.
EntréeInput
| cityString | nameString | amountInteger |
|---|---|---|
| Paris | Ada | 10 |
| Lyon | Grace | 20 |
| Paris | Alan | null |
| Lyon | Linus | 40 |
| Paris | Edsger | 30 |
Opérations (Group by : city)Operations (Group by: city)
| SortieOutput | FonctionFunction | EntréeInput | Nulles ignoréesNulls ignored |
|---|---|---|---|
| nb | nombrecount | name | |
| nb_amount | nombrecount | amount | ✓ |
| total | sommesum | amount | |
| avg_all | avg | amount | |
| avg_known | avg | amount | ✓ |
| max_amount | max | amount | ✓ |
| names | listelist | name |
Schéma de sortie : city, nb, nb_amount, total et max_amount (Integer), avg_all et avg_known (Double), names. Pour Paris, la ligne d'Alan compte dans avg_all (40 / 3) mais pas dans avg_known (40 / 2). Un tJava relié par On Subjob Ok affiche NB_LINE.
Output schema: city, nb, nb_amount, total and max_amount (Integer), avg_all and avg_known (Double), names. For Paris, Alan's row counts in avg_all (40 / 3) but not in avg_known (40 / 2). A tJava connected with On Subjob Ok prints NB_LINE.
Paris|3|2|40|13.333333333333334|20.0|30|Ada,Alan,Edsger Lyon|2|2|60|30.0|30.0|40|Grace,Linus Groups: 2
Mêmes lignes. nb : nombre de name ; total : somme de amount ; avg_amount (BigDecimal, sans précision) : avg de amount, nulles ignorées.
Same rows. nb: count of name; total: sum of amount; avg_amount (BigDecimal, no precision): avg of amount, nulls ignored.
5|100|25.0000000000
somme d'une colonne Double (0.1 et 0.2) vers une colonne Double. Cochée (par défaut), puis décochée :
sum of a Double column (0.1 and 0.2) to a Double column. Checked (default), then unchecked:
a|0.3
a|0.30000000000000004
somme de deux fois 2000000000 dans une colonne Integer. Sans vérification, le total est faux et le job continue :
sum of 2000000000 twice into an Integer column. Without the check, the total is wrong and the job goes on:
a|-294967296
Avec Vérification du dépassement du type, le job s'arrête : With Check type overflow, the job stops:
Exception in component tAggregateRow_1_AGGOUT (MyJob) java.lang.RuntimeException: Type overflow when adding 2000000000 to 2000000000, to resolve this problem, increase the precision by using 'long/Long' type in place of 'int/Integer'. …
La vraie solution : une colonne de sortie Long ou BigDecimal. The real fix: a Long or BigDecimal output column.
Par ville, premier et dernier de name, dans l'ordre d'arrivée des lignes. La colonne total (String) reçoit une somme : type incompatible, elle reste vide et le job écrit sur la sortie d'erreur :
Per city, first and last of name, in the order the rows arrive. The total column (String) gets a sum: incompatible type, it stays empty and the job writes on the error output:
Warning:the operation 'sum' for the output column 'total' can't be processed because of incompatible input and/or output types Paris||Ada|Edsger Lyon||Grace|Linus
min de amount sans Ignorer les valeurs nulles : la ligne d'Alan arrête le job.
min of amount without Ignore null values: Alan's row stops the job.
Exception in component tAggregateRow_1_AGGOUT (MyJob) java.lang.NullPointerException: Cannot invoke "java.lang.Integer.intValue()" because "<local9>.amount" is null at demo.myjob_0_1.MyJob.tFixedFlowInput_1Process(MyJob.java:1784) …
Cochez Ignorer les valeurs nulles pour min et max dès que la colonne peut être nulle. Check Ignore null values for min and max as soon as the column can be null.
somme d'une colonne Double qui contient une nulle, précision financière cochée (par défaut), nulles non ignorées : le job s'arrête. sum of a Double column that contains a null, financial precision checked (default), nulls not ignored: the job stops.
Exception in component tAggregateRow_1_AGGOUT (MyJob) java.lang.NumberFormatException: Character n is neither a decimal digit number, decimal point, nor "e" notation exponential mark. at java.base/java.math.BigDecimal.<init>(BigDecimal.java:608) …
Le composant convertit la valeur en texte ("null") pour la passer en BigDecimal. Cochez Ignorer les valeurs nulles.
The component converts the value to text ("null") to turn it into a BigDecimal. Check Ignore null values.
Les groupes sont rangés dans une table de hachage : leur ordre de sortie n'est pas garanti. Placez un tSortRow après le tAggregateRow si l'ordre compte.
The groups are kept in a hash table: their output order is not guaranteed. Put a tSortRow after the tAggregateRow if the order matters.
Tous les groupes, et pour liste ou compte (distinct) toutes leurs valeurs, restent en mémoire jusqu'à la fin du flux. Si les lignes arrivent déjà triées sur les clés, le tAggregateSortedRow sort chaque groupe dès qu'il est complet. All the groups, and for list or count(distinct) all their values, stay in memory until the end of the flow. If the rows already arrive sorted on the keys, the tAggregateSortedRow outputs each group as soon as it is complete.
Une moyenne écrite dans une colonne Integer perd ses décimales. Prenez une sortie Double, ou BigDecimal avec la précision voulue. An average written to an Integer column loses its decimals. Take a Double output, or a BigDecimal with the wanted precision.
Une même colonne d'entrée peut servir à plusieurs opérations, chacune vers sa colonne de sortie, avec ou sans les nulles : avg_all et avg_known dans l'exemple.
The same input column can be used by several operations, each to its own output column, with or without the nulls: avg_all and avg_known in the example.
tAggregateSortedRow · le même calcul sur un flux déjà triéthe same computation on a flow already sortedtFilterRow · garder les lignes qui remplissent des conditionskeep the rows that meet conditionstJoin · joindre un flux à un Lookupjoin a flow with a LookuptJavaFlex · un calcul sur tout le flux écrit en Javaa computation over the whole flow written in JavatLogRow · afficher les lignes d'un fluxdisplay the rows of a flow