ComposantsComponents

ComposantsComponents › Traitement › ChampsProcessing › Fields

tExtractDelimitedFields

tExtractDelimitedFields

Traitement › ChampsProcessing › Fields

Découpe une colonne de texte délimité (Ada;London;1250) en plusieurs colonnes : le 1er champ remplit la 1re colonne à remplir, le 2e la 2e…, chacun converti dans le type de sa colonne. Une ligne d'entrée donne une ligne de sortie. Le séparateur est une expression régulière Java et les guillemets ne protègent rien. Une ligne dont un champ ne se convertit pas peut partir par un lien Reject. Splits a column of delimited text (Ada;London;1250) into several columns: the 1st field fills the 1st column to fill, the 2nd the 2nd…, each one converted to the type of its column. One input row gives one output row. The separator is a Java regular expression and quotes protect nothing. A row whose field does not convert can leave through a Reject link.

EntréeInput

Main un fluxone flow

SortieOutput

Main un flux, obligatoireone flow, required

Reject facultatif, Arrêter en cas d'erreur décoché : lignes en erreuroptional, Die on error unchecked: rows in error

Déclencheurs en sortieOutput triggers

On Component Ok On Component Error Run if

UtilisationUsage

row1 (Main) row2 (Main) row3 (Reject) tFileInputFullRow_1 tExtractDelimitedFields_1 tFileOutputDelimited_1 tLogRow_1

La valeur est coupée par String.split(séparateur, -1). Les colonnes de sortie qui portent le nom d'une colonne d'entrée sont recopiées ; les autres, les colonnes à remplir, reçoivent les champs dans leur ordre. Un champ absent donne "" à une colonne String, sa valeur par défaut à une autre ; un champ en trop est ignoré. The value is cut with String.split(separator, -1). The output columns that have the name of an input column are copied; the others, the columns to fill, get the fields in their order. A missing field gives "" to a String column, its default value to another one; an extra field is ignored.

  1. Reliez la sortie d'un composant au tExtractDelimitedFields, puis le composant à la suite. Connect the output of a component to the tExtractDelimitedFields, then the component to the next one.
  2. Choisissez le Champ à scinder et le Séparateur de champs (une chaîne Java ; "\\|" pour une barre verticale). Choose the Field to split and the Field separator (a Java string; "\\|" for a vertical bar).
  3. Modifier le schéma : les colonnes de l'entrée à garder, sous le même nom, puis une colonne par champ, dans l'ordre des champs, avec son type (et son modèle pour une date). Edit schema: the input columns to keep, under the same name, then one column per field, in the order of the fields, with its type (and its pattern for a date).
  4. Pour récupérer les lignes en erreur, laissez Arrêter en cas d'erreur décoché et reliez Ligne › Reject. To get the rows in error, leave Die on error unchecked and connect Row › Reject.

Paramètres simplesBasic settings

Les libellés sont ceux de l'onglet Composant ; le nom technique, en gris, est celui du paramètre dans le fichier du job. Labels are those of the Component tab; the technical name, in grey, is the parameter name in the job file.

ParamètreSetting DéfautDefault VisibleShown Description
Champ à scinderField to splitFIELD 1re colonne d'entrée1st input column ToujoursAlways La colonne String du flux entrant à découper. The String column of the incoming flow to split.
Ignorer les nulls dans les données sourceIgnore NULL as the source dataIGNORE_SOURCE_NULL OuiYes ToujoursAlways Coché : une ligne dont le champ à scinder est nul ne produit rien, ni sortie ni rejet, et n'est pas comptée. Décoché : elle sort, comme une valeur sans champ (colonnes String à "", les autres à leur valeur par défaut) ; avec la vérification de la structure, elle est rejetée (exemple). Checked: a row whose field to split is null produces nothing, neither output nor reject, and is not counted. Unchecked: it goes out, as a value without fields (String columns to "", the others to their default value); with the structure check, it is rejected (example).
Séparateur de champsField separatorFIELDSEPARATOR ";" ToujoursAlways Une chaîne Java lue comme une expression régulière : "|" coupe entre chaque caractère, "\\|" sur la barre ; "\\s*;\\s*" coupe sur un point-virgule et retire les espaces autour (exemples). A Java string read as a regular expression: "|" cuts between every character, "\\|" on the bar; "\\s*;\\s*" cuts on a semicolon and removes the spaces around (examples).
Arrêter en cas d'erreurDie on errorDIE_ON_ERROR NonNo ToujoursAlways Coché : la première erreur arrête le job. Décoché (défaut) : la ligne en erreur part par le lien Reject ; sans lui, son message est écrit sur la sortie d'erreur et elle est perdue. Le lien Reject n'est proposé que décoché. Checked: the first error stops the job. Unchecked (default): the row in error leaves through the Reject link; without it, its message is written on the error output and it is lost. The Reject link is only offered when unchecked.
SchémaSchemaSCHEMA videempty ToujoursAlways Les colonnes de sortie : celles qui ont le nom d'une colonne d'entrée (même le champ à scinder) sont recopiées, les autres reçoivent les champs dans l'ordre. Un champ vide donne "" à une colonne String ; à une autre, sa valeur par défaut du schéma, sinon null, ou 0 / false pour un type non nullable. The output columns: those with the name of an input column (even the field to split) are copied, the others get the fields in order. An empty field gives "" to a String column; to another one, its schema default value, otherwise null, or 0 / false for a non-nullable type.

Paramètres avancésAdvanced settings

ParamètreSetting DéfautDefault VisibleShown Description
Séparateur avancé (pour les nombres)Advanced separator (for numbers)ADVANCED_SEPARATOR NonNo ToujoursAlways Les colonnes numériques sont lues avec les séparateurs ci-dessous (1.250,50). The number columns are read with the separators below (1.250,50).
Séparateur de milliersThousands separatorTHOUSANDS_SEPARATOR "," Séparateur avancé cochéAdvanced separator checked Un caractère, retiré avant la conversion. One character, removed before the conversion.
Séparateur décimalDecimal separatorDECIMAL_SEPARATOR "." Séparateur avancé cochéAdvanced separator checked Un caractère, lu comme la virgule décimale. One character, read as the decimal point.
Supprimer les espaces en début et en fin de champ dans la colonneTrim ColumnTRIM NonNo ToujoursAlways Retire les espaces autour de chaque champ, avant la conversion. Sans elle, " 12" ne se convertit pas en nombre. Removes the spaces around each field, before the conversion. Without it, " 12" does not convert to a number.
Vérifier la structure de chaque ligne par rapport au schémaCheck each row structure against schemaCHECK_FIELDS_NUM NonNo ToujoursAlways Compare le nombre de champs à celui des colonnes à remplir : moins, erreur Column(s) missing ; plus, Too many columns (exemple). Coché, les dates sont aussi lues strictement. Compares the number of fields to the number of columns to fill: fewer, Column(s) missing error; more, Too many columns (example). Checked, dates are also read strictly.
Valider la dateValidate dateCHECK_DATE NonNo ToujoursAlways Lit les dates strictement : sans elle, 32-01-2020 devient le 1er février (exemple). Reads the dates strictly: without it, 32-01-2020 becomes February 1st (example).

Le lien RejectThe Reject link

Son schéma est celui de la sortie, suivi de errorCode et errorMessage. Une ligne rejetée garde les colonnes remplies avant l'erreur, dans l'ordre du schéma ; errorMessage vaut le message de Java suivi de - Line: n, où n est le nombre de lignes déjà traitées par le composant, à partir de 0 (les nulles ignorées ne comptent pas). errorCode n'est jamais rempli. Its schema is the output one, followed by errorCode and errorMessage. A rejected row keeps the columns filled before the error, in schema order; errorMessage is the Java message followed by - Line: n, where n is the number of rows already processed by the component, from 0 (the ignored nulls do not count). errorCode is never filled.

Variables globalesGlobal variables

NB_LINE (Integer, après le composant) : les lignes sorties sans erreur, sans les rejets ni les nulles ignorées. Le code généré range aussi le message de la dernière erreur dans ERROR_MESSAGE, que le composant ne déclare pas. NB_LINE (Integer, after the component): the rows sent without error, without the rejects or the ignored nulls. The generated code also stores the message of the last error in ERROR_MESSAGE, which the component does not declare.

((Integer) globalMap.get("tExtractDelimitedFields_1_NB_LINE"))
((String) globalMap.get("tExtractDelimitedFields_1_ERROR_MESSAGE"))

ExemplesExamples

Un tFixedFlowInput envoie les lignes ; la sortie va dans un tLogRow en mode basique (une nulle y est écrite vide) ou, pour voir nulles et espaces, dans un tJavaRow qui écrit chaque valeur entre crochets (amount=null : nulle). Avec un lien Reject, il mène à tLogRow_2 et les tLogRow affichent leur nom. Un tJava relié par On Subjob Ok affiche les variables globales du composant. Sorties copiées depuis une exécution des jobs dans Talaxie (Java 21). A tFixedFlowInput sends the rows; the output goes to a tLogRow in basic mode (a null is written empty there) or, to see nulls and spaces, to a tJavaRow that writes each value between brackets (amount=null: null). With a Reject link, it leads to tLogRow_2 and the tLogRow print their name. A tJava connected with On Subjob Ok prints the global variables of the component. Outputs copied from a run of the jobs in Talaxie (Java 21).

Réglages par défautDefault settings

EntréeInput

idInteger lineString
1Ada;London;1250
2Grace;Paris
3Alan;Manchester;12;extra
4null
5Linus;Helsinki;abc

Champ à scinder : line ; séparateur ";". Schéma de sortie : id (recopiée), name, city (String), amount (Integer). Field to split: line; separator ";". Output schema: id (copied), name, city (String), amount (Integer).

Sortie (tJavaRow)Output (tJavaRow)

id=[1] name=[Ada] city=[London] amount=[1250]
id=[2] name=[Grace] city=[Paris] amount=null
id=[3] name=[Alan] city=[Manchester] amount=[12]
For input string: "abc"
tExtractDelimitedFields_1_ERROR_MESSAGE = For input string: "abc"
tExtractDelimitedFields_1_NB_LINE = 3

Ligne 2 : le champ manquant laisse amount nulle. Ligne 3 : le champ en trop est ignoré. Ligne 4 : la valeur nulle ne produit rien. Ligne 5 : abc ne se convertit pas ; sans lien Reject, le message part sur la sortie d'erreur (4e ligne) et la ligne est perdue, mais le job continue. Row 2: the missing field leaves amount null. Row 3: the extra field is ignored. Row 4: the null value produces nothing. Row 5: abc does not convert; without a Reject link, the message goes to the error output (4th line) and the row is lost, but the job goes on.

Avec un lien RejectWith a Reject link

Mêmes lignes, lien Reject vers tLogRow_2. La ligne 5 y part avec id, name et city, déjà remplies, et le message. Same rows, Reject link to tLogRow_2. Row 5 leaves there with id, name and city, already filled, and the message.

[tLogRow_1] 1|Ada|London|1250
[tLogRow_1] 2|Grace|Paris|
[tLogRow_1] 3|Alan|Manchester|12
[tLogRow_2] 5|Linus|Helsinki|||For input string: "abc" - Line: 3
tExtractDelimitedFields_1_ERROR_MESSAGE = For input string: "abc"
tExtractDelimitedFields_1_NB_LINE = 3

Vérifier la structureCheck the structure

Mêmes lignes et lien Reject, Vérifier la structure de chaque ligne par rapport au schéma coché : la ligne 2 (deux champs pour trois colonnes) et la ligne 3 (quatre champs) sont rejetées aussi, avec les colonnes déjà remplies. Same rows and Reject link, Check each row structure against schema checked: row 2 (two fields for three columns) and row 3 (four fields) are rejected too, with the columns already filled.

[tLogRow_1] 1|Ada|London|1250
[tLogRow_2] 2|Grace|Paris|||Column(s) missing - Line: 1
[tLogRow_2] 3|Alan|Manchester|12||Too many columns - Line: 2
[tLogRow_2] 5|Linus|Helsinki|||For input string: "abc" - Line: 3
tExtractDelimitedFields_1_ERROR_MESSAGE = For input string: "abc"
tExtractDelimitedFields_1_NB_LINE = 1

Arrêter en cas d'erreurDie on error

Coché, sans lien Reject : le job s'arrête sur la ligne 5, après les lignes déjà sorties (nom du job remplacé par MyJob, trace abrégée). Checked, without a Reject link: the job stops on row 5, after the rows already sent (job name replaced with MyJob, trace shortened).

1|Ada|London|1250
2|Grace|Paris|
3|Alan|Manchester|12
Exception in component tExtractDelimitedFields_1 (MyJob)
java.lang.NumberFormatException: For input string: "abc"
	at java.base/java.lang.NumberFormatException.forInputString(NumberFormatException.java:67)
	at java.base/java.lang.Integer.parseInt(Integer.java:662)
	at java.base/java.lang.Integer.parseInt(Integer.java:778)
	at routines.system.ParserUtils.parseTo_int(ParserUtils.java:122)
	at routines.system.ParserUtils.parseTo_Integer(ParserUtils.java:137)
	…

Garder les nullesKeep the nulls

Ignorer les nulls dans les données source décoché : la ligne 4 sort, ses colonnes String à "" et amount nulle. Ignore NULL as the source data unchecked: row 4 goes out, its String columns to "" and amount null.

id=[1] name=[Ada] city=[London] amount=[1250]
id=[2] name=[Grace] city=[Paris] amount=null
id=[3] name=[Alan] city=[Manchester] amount=[12]
id=[4] name=[] city=[] amount=null
For input string: "abc"
tExtractDelimitedFields_1_ERROR_MESSAGE = For input string: "abc"
tExtractDelimitedFields_1_NB_LINE = 4

Avec en plus la vérification de la structure et un lien Reject, elle est rejetée, et la ligne 5 devient Line: 4 : With the structure check and a Reject link as well, it is rejected, and row 5 becomes Line: 4:

[tLogRow_2] 4|||||Column(s) missing - Line: 3
[tLogRow_2] 5|Linus|Helsinki|||For input string: "abc" - Line: 4

Séparateurs et guillemetsSeparators and quotes

La barre verticaleThe vertical bar

Valeur Ada|London|10, colonnes à remplir a, b, c (String). Séparateur "|" : en expression régulière, il correspond entre chaque caractère. Value Ada|London|10, columns to fill a, b, c (String). Separator "|": as a regular expression, it matches between every character.

id=[1] a=[A] b=[d] c=[a]

Séparateur "\\|" ; même résultat avec "\\s*[,;]\\s*" sur Ada , London;10 (virgule ou point-virgule, espaces retirés) : Separator "\\|"; same result with "\\s*[,;]\\s*" on Ada , London;10 (comma or semicolon, spaces removed):

id=[1] a=[Ada] b=[London] c=[10]

Des guillemetsQuotes

Valeur "Smith; John";London;10, séparateur ";". Les guillemets ne protègent pas le point-virgule et restent dans les champs : Value "Smith; John";London;10, separator ";". The quotes do not protect the semicolon and stay in the fields:

id=[1] a=["Smith] b=[ John"] c=[London]

Pour un CSV avec guillemets, lisez le fichier avec un tFileInputDelimited (option CSV), ou découpez la colonne avec le mode CSV du tNormalize si une ligne par champ convient. For a CSV with quotes, read the file with a tFileInputDelimited (CSV option), or split the column with the CSV mode of the tNormalize if one row per field suits.

ConversionsConversions

Espaces et séparateurs de nombresSpaces and number separators

Lignes " Ada ; London ; 1.250,50 " et Grace;Paris;12 ; amount en BigDecimal. Avec Supprimer les espaces… et Séparateur avancé (milliers ".", décimal ",") : Rows " Ada ; London ; 1.250,50 " and Grace;Paris;12; amount as BigDecimal. With Trim Column and Advanced separator (thousands ".", decimal ","):

id=[1] name=[Ada] city=[London] amount=[1250.50]
id=[2] name=[Grace] city=[Paris] amount=[12]
tExtractDelimitedFields_1_NB_LINE = 2

Sans les deux cases, " Ada ; London ; 1250.50 " est rejetée : l'espace devant le nombre empêche sa lecture. Without the two boxes, " Ada ; London ; 1250.50 " is rejected: the space before the number prevents reading it.

[tLogRow_2] 1| Ada | London |||Character   is neither a decimal digit number, decimal point, nor "e" notation exponential mark. - Line: 0

Dates souples ou strictesLenient or strict dates

Lignes Ada;10-12-2020 et Bob;32-01-2020 ; born de type Date, modèle "dd-MM-yyyy" ; lien Reject. Par défaut, le 32 janvier devient le 1er février : Rows Ada;10-12-2020 and Bob;32-01-2020; born of type Date, pattern "dd-MM-yyyy"; Reject link. By default, January 32nd becomes February 1st:

[tLogRow_1] 1|Ada|10-12-2020
[tLogRow_1] 2|Bob|01-02-2020

Avec Valider la date : With Validate date:

[tLogRow_1] 1|Ada|10-12-2020
[tLogRow_2] 2|Bob|||Unparseable date: "32-01-2020" - Line: 1

Garder la colonne d'origineKeep the original column

Valeur Ada;London, schéma de sortie id, line, name, city : line existe dans l'entrée, elle est recopiée, et les champs vont à name et city. Value Ada;London, output schema id, line, name, city: line exists in the input, it is copied, and the fields go to name and city.

1|Ada;London|Ada|London

Valeurs par défautDefault values

Valeur Grace ; colonnes name, amount (Integer non nullable), qty (Integer, valeur par défaut -1 dans le schéma). Les deux champs absents prennent 0 et -1 : Value Grace; columns name, amount (non-nullable Integer), qty (Integer, default value -1 in the schema). The two missing fields take 0 and -1:

id=[2] name=[Grace] amount=[0] qty=[-1]

Pièges et conseilsPitfalls and tips

Un séparateur qui est une expressionA separator that is an expression

|, ., +, *, ?, $, ^, (, [, \ ont un sens dans une expression régulière. Échappez-les avec deux antislashs ("\\|", "\\.") ; une tabulation s'écrit "\t". Le résultat d'un mauvais séparateur ne provoque aucune erreur : seulement des colonnes fausses. |, ., +, *, ?, $, ^, (, [, \ have a meaning in a regular expression. Escape them with two backslashes ("\\|", "\\."); a tab is written "\t". A wrong separator raises no error: only wrong columns.

Des lignes perdues sans le voirRows lost unseen

Par défaut, Arrêter en cas d'erreur est décoché : sans lien Reject, une ligne en erreur n'est signalée que par une ligne sur la sortie d'erreur, et les nulles disparaissent sans rien dire. Reliez un lien Reject, ou comparez NB_LINE au nombre de lignes reçues. By default, Die on error is unchecked: without a Reject link, a row in error is only reported by a line on the error output, and the nulls disappear silently. Connect a Reject link, or compare NB_LINE with the number of rows received.

Champs manquants ou en tropMissing or extra fields

Sans vérification, une valeur trop courte remplit ses dernières colonnes par "" ou leur valeur par défaut, et une valeur trop longue perd ses derniers champs, sans erreur. Cochez Vérifier la structure… si le nombre de champs doit être exact. Without the check, a value that is too short fills its last columns with "" or their default value, and a value that is too long loses its last fields, without error. Check Check each row structure… if the number of fields must be exact.

« Line » n'est pas le numéro de ligne“Line” is not the row number

Le n de - Line: n compte à partir de 0 les lignes déjà traitées, sans les nulles ignorées : la 5e ligne donne Line: 3 quand la 4e est nulle. Gardez une colonne d'identifiant dans la sortie : elle passe dans le rejet. The n of - Line: n counts from 0 the rows already processed, without the ignored nulls: the 5th row gives Line: 3 when the 4th is null. Keep an identifier column in the output: it goes into the reject.

Une ligne par champOne row per field

Le nombre de colonnes est fixé par le schéma. Pour une liste de longueur variable (a;b;c;…) à mettre en lignes, prenez le tNormalize. The number of columns is set by the schema. For a list of variable length (a;b;c;…) to turn into rows, take the tNormalize.

Formats plus libresFreer formats

Pour des champs à positions fixes, voyez le tExtractPositionalFields ; pour un format décrit par une expression régulière, le tExtractRegexFields. For fields at fixed positions, see the tExtractPositionalFields; for a format described by a regular expression, the tExtractRegexFields.

Voir aussiSee also