ComposantsComponents

ComposantsComponents › TraitementProcessing

tAggregateRow

tAggregateRow

TraitementProcessing

Regroupe les lignes d'un flux selon une ou plusieurs colonnes, comme un GROUP BY en SQL, et calcule pour chaque groupe un nombre, une somme, une moyenne, un minimum, une liste… Les lignes peuvent arriver dans n'importe quel ordre : le composant les accumule et sort une ligne par groupe une fois le flux terminé. Groups the rows of a flow on one or more columns, like a GROUP BY in SQL, and computes for each group a count, a sum, an average, a minimum, a list… Rows can arrive in any order: the component accumulates them and outputs one row per group once the flow is over.

EntréeInput

Main un flux, obligatoireone flow, required

SortieOutput

Main un flux, obligatoire : une ligne par groupeone flow, required: one row per group

Déclencheurs en sortieOutput triggers

On Component Ok On Component Error Run if

UtilisationUsage

row1 (Main) row2 (Main) tFileInputDelimited_1 tAggregateRow_1 tFileOutputDelimited_1

Les groupes ne partent qu'après la dernière ligne reçue : tant que le flux d'entrée dure, rien ne sort. Tous les groupes restent en mémoire jusque-là. The groups only leave after the last row received: while the input flow lasts, nothing comes out. All the groups stay in memory until then.

  1. Reliez la sortie d'un composant au tAggregateRow, puis le tAggregateRow au composant suivant. Connect the output of a component to the tAggregateRow, then the tAggregateRow to the next component.
  2. Modifier le schéma : une colonne de sortie par clé de regroupement, et une par résultat, avec un type qui convient à sa fonction (voir Fonctions). Edit schema: one output column per grouping key, and one per result, with a type that suits its function (see Functions).
  3. Dans Group by, une ligne par clé : la colonne de sortie et la colonne d'entrée qu'elle reprend. In Group by, one line per key: the output column and the input column it takes.
  4. Dans Opérations, une ligne par résultat : la colonne de sortie, la fonction, la colonne d'entrée et, au besoin, Ignorer les valeurs nulles. In Operations, one line per result: the output column, the function, the input column and, if needed, Ignore null values.

ParamètresSettings

Les libellés sont ceux de l'onglet Composant ; le nom technique, en gris, est celui du paramètre dans le fichier du job. Labels are those of the Component tab; the technical name, in grey, is the parameter name in the job file.

ParamètreSetting DéfautDefault OngletTab Description
SchémaSchemaSCHEMA videempty Paramètres simplesBasic settings Les colonnes de sortie : les clés de regroupement et les résultats. Il ne suit pas le schéma d'entrée. The output columns: the grouping keys and the results. It does not follow the input schema.
Group byGROUPBYS videempty Paramètres simplesBasic settings Une ligne par clé : Colonne de sortie et Position de la colonne d'entrée (la colonne lue, choisie par son nom). Deux lignes sont dans le même groupe si toutes leurs clés sont égales ; deux nulles sont égales. Sans aucune clé, tout le flux forme un seul groupe. One line per key: Output column and Input column position (the column read, chosen by its name). Two rows are in the same group if all their keys are equal; two nulls are equal. Without any key, the whole flow is a single group.
OpérationsOperationsOPERATIONS videempty Paramètres simplesBasic settings Une ligne par résultat : Colonne de sortie, Fonction (nombre par défaut, voir Fonctions), Position de la colonne d'entrée et Ignorer les valeurs nulles : cochée, une ligne dont la colonne d'entrée est nulle ne compte pas pour ce résultat. One line per result: Output column, Function (count by default, see Functions), Input column position and Ignore null values: checked, a row whose input column is null does not count for this result.
Séparateur (seulement pour les opérations de liste)Delimiter (only for list operation)LIST_DELIMITER "," Paramètres avancésAdvanced settings Placé entre les valeurs de la fonction liste. Expression Java : gardez les guillemets. Placed between the values of the list function. Java expression: keep the quotes.
Utilise une précision financière, précision maximale pour les opérations "sum" et "avg", si cochée, utilisera plus de mémoire et sera plus lent.Use financial precision, this is the max precision for "sum" and "avg" operations, checked option heaps more memory and slower than unchecked.USE_FINANCIAL_PRECISION OuiYes Paramètres avancésAdvanced settings Pour somme et avg d'une colonne Float, Double ou BigDecimal vers une colonne de l'un de ces types : le calcul se fait en BigDecimal, sans les erreurs d'arrondi des nombres à virgule (exemple). For sum and avg from a Float, Double or BigDecimal column to a column of one of these types: the computation is done in BigDecimal, without the rounding errors of floating-point numbers (example).
Vérification du dépassement du type (plus lent)Check type overflow (slower)CHECK_TYPE_OVERFLOW NonNo Paramètres avancésAdvanced settings Une somme qui dépasse la capacité de son type arrête le job avec un message, au lieu de donner un résultat faux (exemple). A sum that exceeds the capacity of its type stops the job with a message, instead of giving a wrong result (example).
Vérification ULP (Unité en dernière location), assure que la valeur est incrémentée ou décrémentée correctement, seulement pour les types float ou double. (plus lent)Check ULP (Unit in the Last Place), ensure that a value will be incremented or decremented correctly, only for float and double types. (slower)CHECK_ULP NonNo Paramètres avancésAdvanced settings Pour une somme calculée en float ou double (sans précision financière) : arrête le job quand une valeur ajoutée est trop petite pour changer le total. For a sum computed in float or double (without financial precision): stops the job when an added value is too small to change the total.

FonctionsFunctions

  • nombre : les lignes du groupe ; avec Ignorer les valeurs nulles, celles dont la colonne d'entrée n'est pas nulle. compte (distinct) : les valeurs différentes de la colonne d'entrée. count: the rows of the group; with Ignore null values, those whose input column is not null. count(distinct): the different values of the input column.
  • somme : le total. Vers une colonne Integer ou Long, les nulles sont sautées ; pour des décimaux, voir Pièges. sum: the total. To an Integer or Long column, the nulls are skipped; for decimals, see Pitfalls.
  • avg : la somme divisée par le nombre de lignes. Sans Ignorer les valeurs nulles, une ligne nulle compte dans la division. En sortie Integer, les décimales sont perdues ; en BigDecimal, le résultat est arrondi à la précision de la colonne, 10 décimales sans précision. avg: the sum divided by the number of rows. Without Ignore null values, a null row counts in the division. To an Integer output, the decimals are lost; to a BigDecimal, the result is rounded to the column precision, 10 decimals without a precision.
  • min, max : la plus petite ou la plus grande valeur (nombres, textes, dates). min, max: the smallest or the largest value (numbers, texts, dates).
  • premier, dernier : la première ou la dernière valeur reçue dans le groupe ; avec Ignorer les valeurs nulles, la première ou la dernière non nulle. first, last: the first or the last value received in the group; with Ignore null values, the first or the last non-null one.
  • liste : les valeurs dans leur ordre d'arrivée, séparées par le séparateur (une nulle s'écrit null). liste (objet) : les mêmes dans une java.util.List. list: the values in their order of arrival, separated by the delimiter (a null is written null). list(object): the same in a java.util.List.
  • Déviation standard : l'écart type d'échantillon (division par n − 1) ; NaN avec moins de deux valeurs. standard deviation: the sample standard deviation (division by n − 1); NaN with fewer than two values.
  • union (géométrie) : l'union des géométries du groupe (type Geometry de Talend Spatial). union(geometry): the union of the geometries of the group (Geometry type of Talend Spatial).

Type de la colonne de sortieType of the output column

  • somme, avg, Déviation standard : une colonne de nombres vers une colonne de nombres. sum, avg, standard deviation: a number column to a number column.
  • nombre, compte (distinct) : une colonne de nombres. count, count(distinct): a number column.
  • min, max, premier, dernier : le même type que la colonne d'entrée. min, max, first, last: the same type as the input column.
  • liste : String ; liste (objet) : List. list: String; list(object): List.

Sinon, le job écrit un avertissement sur la sortie d'erreur et la colonne reste vide (voir Pièges). Otherwise, the job writes a warning on the error output and the column stays empty (see Pitfalls).

Variable globaleGlobal variable

Le composant n'en déclare pas, mais le code généré range le nombre de groupes dans NB_LINE (Integer, disponible après le composant) : The component declares none, but the generated code stores the number of groups in NB_LINE (Integer, available after the component):

((Integer) globalMap.get("tAggregateRow_1_NB_LINE"))

ExemplesExamples

Un tFixedFlowInput envoie les lignes au tAggregateRow, suivi d'un tLogRow. Sorties copiées depuis une exécution du job ; dans les erreurs, le nom du job est remplacé par MyJob et les traces sont abrégées. A tFixedFlowInput sends the rows to the tAggregateRow, followed by a tLogRow. Outputs copied from a run of the job; in the errors, the job name is replaced with MyJob and the traces are shortened.

Par villePer city

row1 (Main) row2 (Main) tFixedFlowInput_1 tAggregateRow_1 tLogRow_1

EntréeInput

cityString nameString amountInteger
ParisAda10
LyonGrace20
ParisAlannull
LyonLinus40
ParisEdsger30

Opérations (Group by : city)Operations (Group by: city)

SortieOutput FonctionFunction EntréeInput Nulles ignoréesNulls ignored
nbnombrecountname
nb_amountnombrecountamount✓
totalsommesumamount
avg_allavgamount
avg_knownavgamount✓
max_amountmaxamount✓
nameslistelistname

Schéma de sortie : city, nb, nb_amount, total et max_amount (Integer), avg_all et avg_known (Double), names. Pour Paris, la ligne d'Alan compte dans avg_all (40 / 3) mais pas dans avg_known (40 / 2). Un tJava relié par On Subjob Ok affiche NB_LINE. Output schema: city, nb, nb_amount, total and max_amount (Integer), avg_all and avg_known (Double), names. For Paris, Alan's row counts in avg_all (40 / 3) but not in avg_known (40 / 2). A tJava connected with On Subjob Ok prints NB_LINE.

Paris|3|2|40|13.333333333333334|20.0|30|Ada,Alan,Edsger
Lyon|2|2|60|30.0|30.0|40|Grace,Linus
Groups: 2

Sans Group by : un seul groupeWithout Group by: a single group

Mêmes lignes. nb : nombre de name ; total : somme de amount ; avg_amount (BigDecimal, sans précision) : avg de amount, nulles ignorées. Same rows. nb: count of name; total: sum of amount; avg_amount (BigDecimal, no precision): avg of amount, nulls ignored.

5|100|25.0000000000

Précision financièreFinancial precision

somme d'une colonne Double (0.1 et 0.2) vers une colonne Double. Cochée (par défaut), puis décochée : sum of a Double column (0.1 and 0.2) to a Double column. Checked (default), then unchecked:

a|0.3
a|0.30000000000000004

Dépassement d'un IntegerInteger overflow

somme de deux fois 2000000000 dans une colonne Integer. Sans vérification, le total est faux et le job continue : sum of 2000000000 twice into an Integer column. Without the check, the total is wrong and the job goes on:

a|-294967296

Avec Vérification du dépassement du type, le job s'arrête : With Check type overflow, the job stops:

Exception in component tAggregateRow_1_AGGOUT (MyJob)
java.lang.RuntimeException: Type overflow when adding 2000000000 to 2000000000, to resolve this problem, increase the precision by using 'long/Long' type in place of 'int/Integer'.
	…

La vraie solution : une colonne de sortie Long ou BigDecimal. The real fix: a Long or BigDecimal output column.

Premier et dernierFirst and last

Par ville, premier et dernier de name, dans l'ordre d'arrivée des lignes. La colonne total (String) reçoit une somme : type incompatible, elle reste vide et le job écrit sur la sortie d'erreur : Per city, first and last of name, in the order the rows arrive. The total column (String) gets a sum: incompatible type, it stays empty and the job writes on the error output:

Warning:the operation 'sum' for the output column 'total' can't be processed because of incompatible input and/or output types
Paris||Ada|Edsger
Lyon||Grace|Linus

Pièges et conseilsPitfalls and tips

min ou max sur une colonne avec des nullesmin or max on a column with nulls

min de amount sans Ignorer les valeurs nulles : la ligne d'Alan arrête le job. min of amount without Ignore null values: Alan's row stops the job.

Exception in component tAggregateRow_1_AGGOUT (MyJob)
java.lang.NullPointerException: Cannot invoke "java.lang.Integer.intValue()" because "<local9>.amount" is null
	at demo.myjob_0_1.MyJob.tFixedFlowInput_1Process(MyJob.java:1784)
	…

Cochez Ignorer les valeurs nulles pour min et max dès que la colonne peut être nulle. Check Ignore null values for min and max as soon as the column can be null.

Somme de décimaux avec une nulleSum of decimals with a null

somme d'une colonne Double qui contient une nulle, précision financière cochée (par défaut), nulles non ignorées : le job s'arrête. sum of a Double column that contains a null, financial precision checked (default), nulls not ignored: the job stops.

Exception in component tAggregateRow_1_AGGOUT (MyJob)
java.lang.NumberFormatException: Character n is neither a decimal digit number, decimal point, nor "e" notation exponential mark.
	at java.base/java.math.BigDecimal.<init>(BigDecimal.java:608)
	…

Le composant convertit la valeur en texte ("null") pour la passer en BigDecimal. Cochez Ignorer les valeurs nulles. The component converts the value to text ("null") to turn it into a BigDecimal. Check Ignore null values.

Ordre des groupesOrder of the groups

Les groupes sont rangés dans une table de hachage : leur ordre de sortie n'est pas garanti. Placez un tSortRow après le tAggregateRow si l'ordre compte. The groups are kept in a hash table: their output order is not guaranteed. Put a tSortRow after the tAggregateRow if the order matters.

Gros volumesLarge volumes

Tous les groupes, et pour liste ou compte (distinct) toutes leurs valeurs, restent en mémoire jusqu'à la fin du flux. Si les lignes arrivent déjà triées sur les clés, le tAggregateSortedRow sort chaque groupe dès qu'il est complet. All the groups, and for list or count(distinct) all their values, stay in memory until the end of the flow. If the rows already arrive sorted on the keys, the tAggregateSortedRow outputs each group as soon as it is complete.

Moyenne en nombre entierWhole-number average

Une moyenne écrite dans une colonne Integer perd ses décimales. Prenez une sortie Double, ou BigDecimal avec la précision voulue. An average written to an Integer column loses its decimals. Take a Double output, or a BigDecimal with the wanted precision.

Plusieurs résultats d'une colonneSeveral results from one column

Une même colonne d'entrée peut servir à plusieurs opérations, chacune vers sa colonne de sortie, avec ou sans les nulles : avg_all et avg_known dans l'exemple. The same input column can be used by several operations, each to its own output column, with or without the nulls: avg_all and avg_known in the example.

Voir aussiSee also