ComposantsComponents

ComposantsComponents › Qualité de donnéesData Quality

tSchemaComplianceCheck

tSchemaComplianceCheck

Qualité de donnéesData Quality

Vérifie que chaque ligne d'un flux respecte un schéma : valeur nulle ou vide interdite, type, longueur, modèle de date, chiffres d'un décimal. Les lignes conformes partent par le lien Main, inchangées ; les autres par le lien Rejects, avec un code et un message qui disent quelle colonne pose problème et pourquoi. À placer avant un chargement, pour écarter les lignes qui le feraient échouer. Checks that each row of a flow complies with a schema: forbidden null or empty value, type, length, date pattern, digits of a decimal. Compliant rows leave through the Main link, unchanged; the others through the Rejects link, with a code and a message telling which column is wrong and why. Place it before a load, to set aside the rows that would make it fail.

EntréeInput

Main un fluxone flow

SortieOutput

Main les lignes conformesthe compliant rows

Rejects les autres, avec errorCode et errorMessagethe others, with errorCode and errorMessage

Un lien de chaque au plus, tous deux facultatifs. At most one link of each, both optional.

Déclencheurs en sortieOutput triggers

On Component Ok On Component Error Run if

UtilisationUsage

row1 (Main) row2 (Main) row3 (Rejects) tFileInputDelimited_1 tSchemaComplianceCheck_1 tDBOutput_1 tFileOutputDelimited_1

Le cas courant : un fichier lu en texte, contrôlé avant d'aller dans une base. Les lignes conformes sont chargées, les autres partent dans un fichier de rejets écrit par un tFileOutputDelimited, avec la raison du rejet. Le composant ne modifie pas les valeurs (sauf la coupe des textes trop longs, si elle est demandée) : pour convertir les colonnes ensuite, voir le tConvertType. The common case: a file read as text, checked before going to a database. Compliant rows are loaded, the others go to a reject file written by a tFileOutputDelimited, with the reason for the rejection. The component does not change the values (except cutting texts that are too long, if asked): to convert the columns afterwards, see the tConvertType.

  1. Reliez la sortie d'un composant au tSchemaComplianceCheck, puis le tSchemaComplianceCheck au composant suivant et, par un clic droit, Ligne › Rejects vers le composant des lignes rejetées. Connect the output of a component to the tSchemaComplianceCheck, then the tSchemaComplianceCheck to the next component and, with a right-click, Row › Rejects to the component of the rejected rows.
  2. Le Schéma de base reprend les colonnes de l'entrée (mêmes noms, mêmes types). Indiquez-y les règles : Nullable décoché pour une colonne obligatoire, Longueur, Précision d'un BigDecimal, Modèle de date. The Base Schema takes the columns of the input (same names, same types). Set the rules in it: Nullable unchecked for a mandatory column, Length, Precision of a BigDecimal, Date pattern.
  3. Choisissez le mode. Vérifier toutes les colonnes du schéma applique ces règles, sans contrôler le type. Pour un flux en texte dont il faut contrôler le type, choisissez Personnalisé (un type par colonne dans un tableau) ou Utiliser un autre schéma (le schéma de la table cible, par exemple). Choose the mode. Check all columns from schema applies these rules, without checking the type. For a text flow whose type must be checked, choose Custom defined (one type per column in a table) or Use another schema (the schema of the target table, for example).
  4. Dans les Paramètres avancés, choisissez si une chaîne vide compte comme NULL (oui par défaut) et comment les dates sont lues. In the Advanced settings, choose whether an empty string counts as NULL (yes by default) and how dates are read.

Paramètres simplesBasic settings

Les libellés sont ceux de l'onglet Composant ; le nom technique, en gris, est celui du paramètre dans le fichier du job. Les trois modes sont des boutons radio : un seul est choisi. Labels are those of the Component tab; the technical name, in grey, is the parameter name in the job file. The three modes are radio buttons: only one is chosen.

ParamètreSetting DéfautDefault VisibleShown Description
Schéma de baseBase SchemaSCHEMA videempty ToujoursAlways Les colonnes du lien Main. Il doit avoir les colonnes de l'entrée, de mêmes noms et types : chaque valeur y est recopiée. Le lien Rejects a les mêmes colonnes, plus errorCode et errorMessage (String, 255). La longueur, la nullabilité, la précision et le modèle de date de ce schéma servent au contrôle. The columns of the Main link. It must have the columns of the input, with the same names and types: each value is copied into it. The Rejects link has the same columns, plus errorCode and errorMessage (String, 255). The length, nullability, precision and date pattern of this schema are used for the check.
Vérifier toutes les colonnes du schémaCheck all columns from schemaCHECK_ALL ChoisiChosen ToujoursAlways Chaque colonne est contrôlée d'après la colonne de même rang du Schéma de base : nulle ou vide, longueur, précision. Le type n'est pas contrôlé (voir les contrôles). Each column is checked against the column of the same rank in the Base Schema: null or empty, length, precision. The type is not checked (see the checks).
PersonnaliséCustom definedCUSTOMER Non choisiNot chosen ToujoursAlways Les règles viennent du tableau Colonnes vérifiées. The rules come from the Checked Columns table.
Colonnes vérifiéesChecked ColumnsCHECKCOLS une ligne par colonne : String, Nullable et Longueur max décochésone line per column: String, Nullable and Max Length unchecked Personnalisé choisiCustom defined chosen Une ligne par colonne du schéma, dans son ordre : Type attendu (Byte, Short, Integer, Long, Float, Double, Boolean, Character, String, Date), Modèle de date pour une Date (code Java : "yyyy-MM-dd"), Nullable (coché : la colonne peut être nulle ou vide), Longueur max (cochée : la longueur du Schéma de base est contrôlée). Comme l'indique la note en rouge sous le tableau, sa case Nullable l'emporte sur celle du schéma. Le type n'est contrôlé que sur une colonne d'entrée String ou Object. One line per column of the schema, in its order: expected Type (Byte, Short, Integer, Long, Float, Double, Boolean, Character, String, Date), Date pattern for a Date (Java code: "yyyy-MM-dd"), Nullable (checked: the column may be null or empty), Max Length (checked: the length of the Base Schema is checked). As the red note under the table says, its Nullable box wins over the schema one. The type is only checked on a String or Object input column.
Utiliser un autre schéma pour valider la compatibilitéUse another schema for compliance checkCHECK_ANOTHER Non choisiNot chosen ToujoursAlways Les règles, type compris, viennent du Schéma à tester. The rules, type included, come from the Schema To Test.
Schéma à testerSchema To TestSCHEMA_OTHER videempty Autre schéma choisiAnother schema chosen Le schéma de référence : type, nullabilité, longueur, précision, modèle de date. Comme l'indique la note en rouge, ses colonnes sont associées à celles de l'entrée par leur rang, pas par leur nom ; les colonnes d'entrée au-delà de sa dernière ne sont pas contrôlées. The reference schema: type, nullability, length, precision, date pattern. As the red note says, its columns are matched with those of the input by their rank, not by their name; the input columns beyond its last one are not checked.
Retirer le contenu en excès d'une colonne quand le contrôle de longueur est actif et que la longueur dépasse la longueur définie.Trim the excess content of column when length checking chosen and the length is great than defined length.SUB_STRING NonNo ToujoursAlways Un texte trop long est coupé à la longueur du schéma et la ligne passe, au lieu d'être rejetée. « Trim » veut dire ici couper : les espaces ne sont pas retirés. Ne compile pas avec une colonne d'entrée Integer de longueur définie (voir les pièges). A text that is too long is cut to the length of the schema and the row goes through, instead of being rejected. "Trim" means cut here: spaces are not removed. Does not compile with an Integer input column with a length (see the pitfalls).

Le bas de l'onglet rappelle les codes d'erreur (INFO) : 2 pour le type, 4 pour une valeur vide ou nulle, 8 pour la longueur ou la précision, 16 quand plusieurs colonnes sont en erreur. The bottom of the tab recalls the error codes (INFO): 2 for the type, 4 for an empty or null value, 8 for the length or precision, 16 when several columns are in error.

Paramètres avancésAdvanced settings

ParamètreSetting DéfautDefault VisibleShown Description
Utiliser la vérification de date la plus rapideUse Fastest Date checkFAST_DATE_CHECK NonNo Vérification stricte décochéeStrict Date check unchecked Lit les dates avec FastDateParser (« non compatible avec les jobs multi-thread »). Pour "yyyy-MM-dd" et "yyyy-MM-dd HH:mm:ss", il ne lit que les chiffres à leur place : séparateurs et fin du texte ne sont pas vérifiés, et une date impossible passe (voir les dates). Reads dates with FastDateParser ("not compatible with multi-threaded jobs"). For "yyyy-MM-dd" and "yyyy-MM-dd HH:mm:ss", it only reads the digits at their place: separators and the end of the text are not checked, and an impossible date goes through (see the dates).
Utiliser la vérification stricte des datesUse Strict Date checkSTRICT_DATE_CHECK NonNo Vérification rapide décochéeFastest Date check unchecked TalendDate.isDateStrict : le texte doit être exactement la date écrite avec le modèle (java.time, sans fuseau horaire). Le plus sûr des trois. TalendDate.isDateStrict: the text must be exactly the date written with the pattern (java.time, without time zone). The safest of the three.
Ignorer le fuseau horaire lors de la vérification de la dateIgnore TimeZone when check dateIGNORE_TIMEZONE NonNo Personnalisé ou autre schéma choisi, vérifications rapide et stricte décochéesCustom defined or another schema chosen, Fastest and Strict Date checks unchecked Cochée, la vérification par défaut lit la date en UTC : une heure qui n'existe pas dans le fuseau de la machine (passage à l'heure d'été) est acceptée. Checked, the default check reads the date in UTC: a time that does not exist in the time zone of the machine (switch to summer time) is accepted.
Traiter les chaînes vides comme NULLTreat all empty string as NULLALL_EMPTY_ARE_NULL OuiYes ToujoursAlways Une chaîne vide "" est rejetée comme une valeur nulle dans une colonne non nullable, et n'est pas contrôlée dans une colonne nullable. Décochée, seules les colonnes cochées du tableau suivant ont cette règle ; ailleurs, "" est une valeur comme une autre. An empty string "" is rejected like a null value in a non-nullable column, and is not checked in a nullable column. Unchecked, only the columns checked in the next table have this rule; elsewhere, "" is a value like any other.
Choisir colonne(s)Choose Column(s)EMPTY_NULL_TABLE une ligne par colonne, décochéeone line per column, unchecked Chaînes vides comme NULL décochéeTreat all empty string as NULL unchecked Traiter comme NULL : la chaîne vide de cette colonne compte comme une valeur nulle. Treat as NULL: the empty string of this column counts as a null value.
Vérifier la chaîne de caractères par sa longueur d'octetsCheck string by byte lengthCHECK_STRING_BY_BYTE_LENGTH NonNo ToujoursAlways La longueur d'un texte est comptée en octets dans le jeu de caractères choisi, et non en caractères : Élise fait 5 caractères mais 6 octets en UTF-8. Utile pour une colonne de base dimensionnée en octets. The length of a text is counted in bytes in the chosen character set, and not in characters: Élise is 5 characters but 6 bytes in UTF-8. Useful for a database column sized in bytes.
Jeu de caractèresCharsetCHARSET "" Longueur d'octets cochéeCheck string by byte length checked Code Java : "UTF-8", "ISO-8859-15"… Vide (""), celui de la JVM. Java code: "UTF-8", "ISO-8859-15"… Empty (""), the one of the JVM.

Un paramètre caché, EMPTY_IS_NULL, ne sert qu'aux jobs d'anciennes versions repris par migration. A hidden setting, EMPTY_IS_NULL, is only used by jobs of older versions taken over by migration.

Les contrôlesThe checks

Pour chaque ligne, chaque colonne est contrôlée dans cet ordre : valeur nulle ou vide, type (ou date), longueur, précision. Une valeur nulle n'est contrôlée que par le premier, et seulement si la colonne n'est pas nullable. Une chaîne vide qui compte comme nulle n'est pas contrôlée dans une colonne nullable ; dans une colonne non nullable, elle est rejetée par le premier, puis contrôlée par les suivants (vide et type : code 6, exemple 2). For each row, each column is checked in this order: null or empty value, type (or date), length, precision. A null value is only checked by the first one, and only if the column is not nullable. An empty string that counts as null is not checked in a nullable column; in a non-nullable column, it is rejected by the first one, then checked by the next ones (empty and type: code 6, example 2).

ContrôleCheck Toutes les colonnesAll columns PersonnaliséCustom defined Autre schémaAnother schema
Nulle ou videNull or empty colonne non nullable du schéma de basenon-nullable column of the base schema Nullable décoché dans le tableauNullable unchecked in the table colonne non nullable du schéma à testernon-nullable column of the schema to test
Type aucun : le schéma de base a les types de l'entréenone: the base schema has the types of the input le Type du tableauthe Type of the table le type de la colonne à testerthe type of the column to test
Date colonne Date : son modèle, comparé à celui de l'entréeDate column: its pattern, compared with the input one le Modèle de date du tableauthe Date pattern of the table le modèle de la colonne à testerthe pattern of the column to test
LongueurLength colonne String ou Integer avec une longueurString or Integer column with a length Longueur max cochée : longueur du schéma de baseMax Length checked: length of the base schema colonne à tester String ou Integer avec une longueurString or Integer column to test with a length
PrécisionPrecision colonne BigDecimal avec une précisionBigDecimal column with a precision aucunnone colonne à tester BigDecimal avec une précisionBigDecimal column to test with a precision

Ce que vérifie chaque contrôleWhat each check verifies

  • Type, sur une colonne d'entrée String ou Object : Boolean, exactement true ou false (casse comprise) ; Character, un seul caractère ; BigDecimal, new BigDecimal(…) ; les autres, Integer.valueOf(…), Double.valueOf(…)… : la syntaxe Java, sans espace autour d'un entier, avec un point décimal. String et Object passent toujours. Sur une colonne déjà typée (Integer…), aucun contrôle de type. Type, on a String or Object input column: Boolean, exactly true or false (case included); Character, a single character; BigDecimal, new BigDecimal(…); the others, Integer.valueOf(…), Double.valueOf(…)…: the Java syntax, without spaces around a whole number, with a decimal point. String and Object always pass. On an already typed column (Integer…), no type check.
  • Date, sur une colonne d'entrée String : par défaut TalendDate.isDate (lecture non permissive, puis le texte doit avoir la longueur de la date réécrite avec le modèle) ; sinon la vérification rapide ou stricte. Sur une colonne d'entrée Date, la valeur n'est pas lue : seuls les modèles sont comparés, à la génération du code. Un modèle vide rejette toutes les lignes. Date, on a String input column: by default TalendDate.isDate (non-lenient reading, then the text must have the length of the date written again with the pattern); otherwise the fastest or strict check. On a Date input column, the value is not read: only the patterns are compared, when the code is generated. An empty pattern rejects all the rows.
  • Longueur : le nombre de caractères du texte (ou d'octets, voir les paramètres avancés) ; pour un Integer, celui du nombre écrit, signe compris (-123 en fait 4). Long, Double, BigDecimal… n'ont pas de contrôle de longueur. Length: the number of characters of the text (or of bytes, see the advanced settings); for an Integer, that of the written number, sign included (-123 has 4). Long, Double, BigDecimal… have no length check.
  • Précision d'un BigDecimal, sans tenir compte du signe, des zéros en tête et des zéros après la dernière décimale : plus de décimales que la précision, precision Non-matches ; sinon, chiffres avant la virgule + précision au-delà de la longueur, invalid Length setting is unsuitable for Precision. Longueur 5 et précision 2 acceptent donc jusqu'à 999.99. Precision of a BigDecimal, ignoring the sign, the leading zeros and the zeros after the last decimal: more decimals than the precision, precision Non-matches; otherwise, digits before the point + precision beyond the length, invalid Length setting is unsuitable for Precision. Length 5 and precision 2 therefore accept up to 999.99.

La ligne rejetéeThe rejected row

Les colonnes d'entrée, telles quelles, puis : The input columns, as they are, then:

  • errorCode (texte) : la somme des codes de la colonne en erreur (6 = vide + type) ; 16 dès que deux colonnes sont en erreur. errorCode (text): the sum of the codes of the column in error (6 = empty + type); 16 as soon as two columns are in error.
  • errorMessage : colonne:message, plusieurs messages d'une colonne séparés par |, les colonnes par ;. errorMessage: column:message, several messages of a column separated by |, the columns by ;.
Code Message
2wrong type
2wrong DATE pattern or wrong DATE data
2Date format not defined
2The TYPE of inputting data is error. (one of OBJECT, STRING, DATE)
4empty or null
8exceed max length
8precision Non-matches
8invalid Length setting is unsuitable for Precision

Le troisième message vient d'une colonne Date sans modèle, le quatrième d'un contrôle de date sur une colonne d'entrée qui n'est ni String, ni Object, ni Date (un Integer). The third message comes from a Date column without pattern, the fourth from a date check on an input column that is neither String, nor Object, nor Date (an Integer).

ExemplesExamples

Un tFixedFlowInput envoie ses lignes au tSchemaComplianceCheck. Le lien Main mène à tLogRow_1, le lien Rejects à tLogRow_2 : deux tLogRow qui affichent leur nom unique devant chaque ligne. Quand il y en a un, un tJava relié par On Subjob Ok affiche les variables globales. Les tLogRow ont le schéma du composant, sans précision pour les BigDecimal : un tLogRow arrondit un BigDecimal à la précision de son schéma, il afficherait 1.23 pour 1.234. Sorties copiées depuis une exécution des jobs. A tFixedFlowInput sends its rows to the tSchemaComplianceCheck. The Main link leads to tLogRow_1, the Rejects link to tLogRow_2: two tLogRow components that print their unique name in front of each row. When there is one, a tJava connected with On Subjob Ok prints the global variables. The tLogRow components have the schema of the component, without precision for the BigDecimal columns: a tLogRow rounds a BigDecimal to the precision of its schema, it would print 1.23 for 1.234. Outputs copied from runs of the jobs.

row1 (Main) row2 (Main) row3 (Rejects) tFixedFlowInput_1 tSchemaComplianceCheck_1 tLogRow_1 tLogRow_2

1. Toutes les colonnes du schéma1. All columns from the schema

Mode Vérifier toutes les colonnes du schéma, paramètres par défaut. Entrée et schéma de base : code String, longueur 5, non nullable ; qty Integer, longueur 3 ; price BigDecimal, longueur 5, précision 2. Chaque ligne fait échouer un contrôle ; la dernière, deux colonnes. Check all columns from schema mode, default settings. Input and base schema: code String, length 5, not nullable; qty Integer, length 3; price BigDecimal, length 5, precision 2. Each row makes one check fail; the last one, two columns.

codeString · 5 · non nullablenot nullable qtyInteger · 3 priceBigDecimal · 5 · 2
"AB12"712.50
null712.50
""712.50
"ABCDEFG"712.50
"AB12"123412.50
"AB12"71.234
"AB12"71234.5
null123412.50
[tLogRow_1] AB12|7|12.50
[tLogRow_2] |7|12.50|4|code:empty or null
[tLogRow_2] |7|12.50|4|code:empty or null
[tLogRow_2] ABCDEFG|7|12.50|8|code:exceed max length
[tLogRow_2] AB12|1234|12.50|8|qty:exceed max length
[tLogRow_2] AB12|7|1.234|8|price:precision Non-matches
[tLogRow_2] AB12|7|1234.5|8|price:invalid Length setting is unsuitable for Precision
[tLogRow_2] |1234|12.50|16|code:empty or null;qty:exceed max length
ERROR_MESSAGE=null
NB_LINE=null

La chaîne vide est rejetée comme null. 1.234 a trois décimales pour une précision de 2 ; 1234.5 a quatre chiffres avant la virgule, et 4 + 2 dépasse la longueur 5. The empty string is rejected like null. 1.234 has three decimals for a precision of 2; 1234.5 has four digits before the point, and 4 + 2 exceeds the length 5.

Chaîne vide qui n'est pas NULLEmpty string that is not NULL

Les quatre premières lignes, Traiter les chaînes vides comme NULL décochée, tableau Choisir colonne(s) laissé décoché : "" passe, null reste rejeté. The first four rows, Treat all empty string as NULL unchecked, Choose Column(s) table left unchecked: "" goes through, null is still rejected.

[tLogRow_1] AB12|7|12.50
[tLogRow_2] |7|12.50|4|code:empty or null
[tLogRow_1] |7|12.50
[tLogRow_2] ABCDEFG|7|12.50|8|code:exceed max length

Couper au lieu de rejeterCut instead of rejecting

Les cinq premières lignes, Retirer le contenu en excès… coché. qty n'a plus de longueur : avec une longueur, le job ne compile pas (voir les pièges). ABCDEFG devient ABCDE et passe. The first five rows, Trim the excess content… checked. qty no longer has a length: with a length, the job does not compile (see the pitfalls). ABCDEFG becomes ABCDE and goes through.

[tLogRow_1] AB12|7|12.50
[tLogRow_2] |7|12.50|4|code:empty or null
[tLogRow_2] |7|12.50|4|code:empty or null
[tLogRow_1] ABCDE|7|12.50
[tLogRow_1] AB12|1234|12.50

Longueur en caractères ou en octetsLength in characters or in bytes

Deux lignes, code = Elise puis Élise, longueur 5. À gauche les paramètres par défaut ; à droite Vérifier la chaîne de caractères par sa longueur d'octets coché, jeu de caractères "UTF-8" : le É compte pour deux octets. Two rows, code = Elise then Élise, length 5. On the left the default settings; on the right Check string by byte length checked, charset "UTF-8": the É counts as two bytes.

[tLogRow_1] Elise|7|12.50
[tLogRow_1] Élise|7|12.50
[tLogRow_1] Elise|7|12.50
[tLogRow_2] Élise|7|12.50|8|code:exceed max length

2. Personnalisé : un type par colonne2. Custom defined: one type per column

Cinq colonnes String, nullables dans le schéma, comme celles d'un fichier lu en texte ; id a une longueur de 4 dans le schéma de base. Mode Personnalisé, tableau Colonnes vérifiées : Five String columns, nullable in the schema, like those of a file read as text; id has a length of 4 in the base schema. Custom defined mode, Checked Columns table:

ColonneColumn Type Modèle de dateDate pattern Nullable Longueur maxMax Length
idIntegernonnoouiyes
bornDate"yyyy-MM-dd"ouiyesnonno
activeBooleanouiyesnonno
gradeCharacterouiyesnonno
amountDoubleouiyesnonno
id born active grade amount
"12""2026-01-15""true""A""12.5"
"x1""2026-01-15""true""A""12.5"
" 12""2026-01-15""true""A""12.5"
"""2026-01-15""true""A""12.5"
"12345""2026-01-15""true""A""12.5"
"12""2026-02-30""true""A""12.5"
"12""2026-01-15""TRUE""A""12.5"
"12""2026-01-15""true""AB""12.5"
"12""2026-01-15""true""A""12,5"
null"15/01/2026""true""A""12.5"
"7"""""""""
[tLogRow_1] 12|2026-01-15|true|A|12.5
[tLogRow_2] x1|2026-01-15|true|A|12.5|2|id:wrong type
[tLogRow_2]  12|2026-01-15|true|A|12.5|2|id:wrong type
[tLogRow_2] |2026-01-15|true|A|12.5|6|id:empty or null|wrong type
[tLogRow_2] 12345|2026-01-15|true|A|12.5|8|id:exceed max length
[tLogRow_2] 12|2026-02-30|true|A|12.5|2|born:wrong DATE pattern or wrong DATE data
[tLogRow_2] 12|2026-01-15|TRUE|A|12.5|2|active:wrong type
[tLogRow_2] 12|2026-01-15|true|AB|12.5|2|grade:wrong type
[tLogRow_2] 12|2026-01-15|true|A|12,5|2|amount:wrong type
[tLogRow_2] |15/01/2026|true|A|12.5|16|id:empty or null;born:wrong DATE pattern or wrong DATE data
[tLogRow_1] 7||||
ERROR_MESSAGE=Data format not matches
NB_LINE=null

" 12" n'est pas un entier pour Java : les espaces ne sont pas retirés. Le "" d'id, colonne non nullable, est rejeté deux fois (vide, puis type : code 6). La dernière ligne passe : ses quatre chaînes vides sont dans des colonnes nullables, donc pas contrôlées. " 12" is not a whole number for Java: spaces are not removed. The "" of id, a non-nullable column, is rejected twice (empty, then type: code 6). The last row goes through: its four empty strings are in nullable columns, so they are not checked.

3. Un autre schéma3. Another schema

Trois colonnes String : id, amount, born. Mode Utiliser un autre schéma, Schéma à tester aux noms différents, associé par le rang : ref Integer, longueur 3, non nullable ; price BigDecimal, longueur 5, précision 2 ; day Date, "dd/MM/yyyy". Les messages nomment les colonnes d'entrée. Three String columns: id, amount, born. Use another schema mode, Schema To Test with different names, matched by rank: ref Integer, length 3, not nullable; price BigDecimal, length 5, precision 2; day Date, "dd/MM/yyyy". The messages name the input columns.

id→ ref · Integer · 3 amount→ price · BigDecimal · 5 · 2 born→ day · Date
"12""12.50""15/01/2026"
"x""12.50""15/01/2026"
"1234""12.50""15/01/2026"
null"12.50""15/01/2026"
"12""123.456""15/01/2026"
"12""1234.5""15/01/2026"
"12""abc""15/01/2026"
"12""12.50""2026-01-15"
"12"nullnull
[tLogRow_1] 12|12.50|15/01/2026
[tLogRow_2] x|12.50|15/01/2026|2|id:wrong type
[tLogRow_2] 1234|12.50|15/01/2026|8|id:exceed max length
[tLogRow_2] |12.50|15/01/2026|12|id:empty or null|exceed max length
[tLogRow_2] 12|123.456|15/01/2026|8|amount:precision Non-matches
[tLogRow_2] 12|1234.5|15/01/2026|8|amount:invalid Length setting is unsuitable for Precision
[tLogRow_2] 12|abc|15/01/2026|2|amount:wrong type
[tLogRow_2] 12|12.50|2026-01-15|2|born:wrong DATE pattern or wrong DATE data
[tLogRow_1] 12||

Le type, le modèle de date et la précision viennent du schéma à tester, alors que l'entrée est du texte. La quatrième ligne a un exceed max length de trop : voir les pièges. The type, the date pattern and the precision come from the schema to test, whereas the input is text. The fourth row has one exceed max length too many: see the pitfalls.

4. Les trois vérifications de date4. The three date checks

Mode Personnalisé, deux colonnes String nullables de type Date : d, modèle "yyyy-MM-dd" ; t, modèle "yyyy-MM-dd HH:mm". Le même job est lancé quatre fois sur une machine à l'heure de Paris, où le 29 mars 2026 passe de 2 h à 3 h. Résumé des quatre sorties ci-dessous : Custom defined mode, two nullable String columns of type Date: d, pattern "yyyy-MM-dd"; t, pattern "yyyy-MM-dd HH:mm". The same job is run four times on a machine on Paris time, where 29 March 2026 goes from 2 am to 3 am. Summary of the four outputs below:

ValeurValue Par défautDefault Sans fuseauIgnore time zone RapideFastest StricteStrict
d = "2026-01-15"MainMainMainMain
d = "2026-1-15x"MainMainRejectsRejects
d = "2026/01/15"RejectsRejectsMainRejects
d = "2026-01-15 10:30"RejectsRejectsMainRejects
d = "2026-02-30"RejectsRejectsMain (et une trace)(and a trace)Rejects
d = "15-01-2026"RejectsRejectsRejectsRejects
t = "2026-03-29 02:30"RejectsMainRejectsMain
t = "2026-03-29 03:30"MainMainMainMain

Par défautDefault

TalendDate.isDate. 2026-1-15x passe : relu comme le 15 janvier, réécrit 2026-01-15, de même longueur (10). L'heure 02:30 du 29 mars n'existe pas à Paris. TalendDate.isDate. 2026-1-15x goes through: read as 15 January, written again 2026-01-15, of the same length (10). The time 02:30 on 29 March does not exist in Paris.

[tLogRow_1] 2026-01-15|
[tLogRow_1] 2026-1-15x|
[tLogRow_2] 2026/01/15||2|d:wrong DATE pattern or wrong DATE data
[tLogRow_2] 2026-01-15 10:30||2|d:wrong DATE pattern or wrong DATE data
[tLogRow_2] 2026-02-30||2|d:wrong DATE pattern or wrong DATE data
[tLogRow_2] 15-01-2026||2|d:wrong DATE pattern or wrong DATE data
[tLogRow_2] |2026-03-29 02:30|2|t:wrong DATE pattern or wrong DATE data
[tLogRow_1] |2026-03-29 03:30
ERROR_MESSAGE=Data format not matches
NB_LINE=null

Ignorer le fuseau horaireIgnore time zone

La même vérification, en UTC : seule l'heure 02:30 change de sortie. The same check, in UTC: only the time 02:30 changes output.

[tLogRow_1] 2026-01-15|
[tLogRow_1] 2026-1-15x|
[tLogRow_2] 2026/01/15||2|d:wrong DATE pattern or wrong DATE data
[tLogRow_2] 2026-01-15 10:30||2|d:wrong DATE pattern or wrong DATE data
[tLogRow_2] 2026-02-30||2|d:wrong DATE pattern or wrong DATE data
[tLogRow_2] 15-01-2026||2|d:wrong DATE pattern or wrong DATE data
[tLogRow_1] |2026-03-29 02:30
[tLogRow_1] |2026-03-29 03:30
ERROR_MESSAGE=Data format not matches
NB_LINE=null

Vérification la plus rapideFastest check

Pour "yyyy-MM-dd", seuls les chiffres des positions 1-4, 6-7 et 9-10 sont lus : 2026/01/15 et 2026-01-15 10:30 passent. 2026-02-30 passe aussi, avec une trace sur la sortie d'erreur (voir les pièges). t est lu avec SimpleDateFormat, à l'heure de Paris. For "yyyy-MM-dd", only the digits at positions 1-4, 6-7 and 9-10 are read: 2026/01/15 and 2026-01-15 10:30 go through. 2026-02-30 goes through too, with a trace on the error output (see the pitfalls). t is read with SimpleDateFormat, on Paris time.

Sortie standardStandard output

[tLogRow_1] 2026-01-15|
[tLogRow_2] 2026-1-15x||2|d:wrong DATE pattern or wrong DATE data
[tLogRow_1] 2026/01/15|
[tLogRow_1] 2026-01-15 10:30|
[tLogRow_1] 2026-02-30|
[tLogRow_2] 15-01-2026||2|d:wrong DATE pattern or wrong DATE data
[tLogRow_2] |2026-03-29 02:30|2|t:wrong DATE pattern or wrong DATE data
[tLogRow_1] |2026-03-29 03:30
ERROR_MESSAGE=Unparseable date: "2026-03-29 02:30"
NB_LINE=null

Sortie d'erreur, avant la ligne 2026-02-30 (abrégée)Error output, before the 2026-02-30 row (shortened)

java.lang.IllegalArgumentException: MONTH: 1 -> 2
	at java.base/java.util.GregorianCalendar.computeTime(GregorianCalendar.java:2798)
	…
	at routines.system.FastDateParser$DateParser.parse(FastDateParser.java:137)
	at java.base/java.text.DateFormat.parse(DateFormat.java:397)
	…

Vérification stricteStrict check

TalendDate.isDateStrict : seul le texte exact passe. Sans fuseau horaire, l'heure 02:30 est acceptée. TalendDate.isDateStrict: only the exact text goes through. Without time zone, the time 02:30 is accepted.

[tLogRow_1] 2026-01-15|
[tLogRow_2] 2026-1-15x||2|d:wrong DATE pattern or wrong DATE data
[tLogRow_2] 2026/01/15||2|d:wrong DATE pattern or wrong DATE data
[tLogRow_2] 2026-01-15 10:30||2|d:wrong DATE pattern or wrong DATE data
[tLogRow_2] 2026-02-30||2|d:wrong DATE pattern or wrong DATE data
[tLogRow_2] 15-01-2026||2|d:wrong DATE pattern or wrong DATE data
[tLogRow_1] |2026-03-29 02:30
[tLogRow_1] |2026-03-29 03:30
ERROR_MESSAGE=Data format not matches
NB_LINE=null

Variables globalesGlobal variables

Le composant ne déclare pas de variable globale propre : il n'y a pas de NB_LINE, le tJava des exemples affiche null. Pour compter les lignes rejetées, comptez celles du lien Rejects (le NB_LINE d'un composant de sortie). Reste la variable commune à tous les composants, ERROR_MESSAGE (String, disponible après le composant) : le code généré y range le message de la dernière exception levée par un contrôle de type ou de date : Data format not matches pour une date (vérification par défaut ou stricte), le message de FastDateParser ou de Java sinon. Il reste null si seuls des contrôles de valeur vide, de longueur ou de précision ont échoué (exemple 1). The component declares no global variable of its own: there is no NB_LINE, the tJava of the examples prints null. To count the rejected rows, count those of the Rejects link (the NB_LINE of an output component). There remains the variable common to all components, ERROR_MESSAGE (String, available after the component): the generated code stores in it the message of the last exception raised by a type or date check: Data format not matches for a date (default or strict check), the message of FastDateParser or of Java otherwise. It stays null if only empty value, length or precision checks failed (example 1).

(String) globalMap.get("tSchemaComplianceCheck_1_ERROR_MESSAGE")

Pièges et conseilsPitfalls and tips

Sans lien Rejects, les lignes disparaissentWithout a Rejects link, rows disappear

Les quatre premières lignes de l'exemple 1, sans lien Rejects : trois lignes sont écartées, sans un mot sur la sortie d'erreur, et le job se termine normalement. The first four rows of example 1, without a Rejects link: three rows are dropped, without a word on the error output, and the job ends normally.

[tLogRow_1] AB12|7|12.50

« Toutes les colonnes » ne contrôle pas le type"All columns" does not check the type

Le schéma de base a les types de l'entrée, puisque les valeurs y sont recopiées : une colonne String reste du texte, rien ne vérifie qu'il contient un nombre. Pour un fichier lu en texte, choisissez Personnalisé (exemple 2) ou Utiliser un autre schéma (exemple 3). The base schema has the types of the input, since the values are copied into it: a String column stays text, nothing checks that it holds a number. For a file read as text, choose Custom defined (example 2) or Use another schema (example 3).

Une précision sans longueur rejette toutA precision without length rejects everything

price BigDecimal, précision 2, longueur vide : la longueur vaut 0, et toute valeur présente, même 0, dépasse 0 + 2 chiffres. Donnez toujours une longueur à un BigDecimal qui a une précision. price BigDecimal, precision 2, empty length: the length is 0, and any value that is not null, even 0, exceeds 0 + 2 digits. Always give a length to a BigDecimal that has a precision.

[tLogRow_2] 12.50|8|price:invalid Length setting is unsuitable for Precision
[tLogRow_2] 0.5|8|price:invalid Length setting is unsuitable for Precision
[tLogRow_2] 0|8|price:invalid Length setting is unsuitable for Precision
[tLogRow_1] 

Colonnes Date : les modèles, pas les valeursDate columns: the patterns, not the values

Mode Toutes les colonnes, deux colonnes Date déjà lues. d1 a le modèle "yyyy-MM-dd" dans l'entrée et "dd/MM/yyyy" dans le schéma de base ; d2 n'a pas de modèle. Toutes les lignes sont rejetées, même celle où les deux dates sont nulles : le test est décidé à la génération du code. All columns mode, two Date columns already read. d1 has the pattern "yyyy-MM-dd" in the input and "dd/MM/yyyy" in the base schema; d2 has no pattern. All the rows are rejected, even the one where both dates are null: the test is decided when the code is generated.

[tLogRow_2] 15/01/2026|Thu Jan 15 00:00:00 CET 2026|16|d1:wrong DATE pattern or wrong DATE data;d2:Date format not defined
[tLogRow_2] ||16|d1:wrong DATE pattern or wrong DATE data;d2:Date format not defined

Défauts des modèlesDefects of the templates

Couper une colonne Integer ne compile pasCutting an Integer column does not compile

Retirer le contenu en excès… coché, avec une colonne Integer d'entrée de longueur définie (qty, longueur 3, de l'exemple 1) : le modèle écrit substring sur un Integer. Retirez la longueur des colonnes Integer, ou ne cochez pas l'option. Erreur du compilateur (nom du job remplacé par MyJob) : Trim the excess content… checked, with an Integer input column that has a length (qty, length 3, from example 1): the template writes substring on an Integer. Remove the length of the Integer columns, or do not check the option. Compiler error (job name replaced with MyJob):

MyJob.java:1874: error: cannot find symbol
            row1.qty = row1.qty.substring(0, 3);
                               ^
  symbol:   method substring(int,int)
  location: variable qty of type Integer
1 error

Autre schéma : List, byte[]… ne compilent pasAnother schema: List, byte[]… do not compile

Pour une colonne d'entrée String, le contrôle de type écrit Type.valueOf(valeur). Une colonne à tester List ou byte[] donne un code faux ; Object, lui, passe. Erreur pour une colonne List : For a String input column, the type check writes Type.valueOf(value). A column to test of type List or byte[] gives wrong code; Object goes through. Error for a List column:

MyJob.java:1383: error: cannot find symbol
            List tester_tSchemaComplianceCheck_1 = List.valueOf(row1.id);
                                                       ^
  symbol:   method valueOf(String)
  location: interface List
1 error

Autre schéma : une valeur nulle « dépasse » la longueurAnother schema: a null value "exceeds" the length

Colonne d'entrée String, colonne à tester Integer non nullable de longueur 3 ou moins : une valeur nulle est contrôlée comme le texte null, de 4 caractères. Le rejet est juste, mais le code vaut 12 au lieu de 4 et le message ajoute exceed max length (exemple 3, quatrième ligne). String input column, non-nullable Integer column to test with a length of 3 or less: a null value is checked as the text null, of 4 characters. The rejection is right, but the code is 12 instead of 4 and the message adds exceed max length (example 3, fourth row).

Vérifications de date trop permissivesDate checks that are too lenient

La vérification la plus rapide accepte une date impossible pour "yyyy-MM-dd" : FastDateParser marque le texte lu avant de construire la date, puis attrape l'erreur et l'écrit sur la sortie d'erreur, une trace par valeur. Elle ne vérifie pas non plus les séparateurs ni la fin du texte. La vérification par défaut accepte un texte de même longueur que la date réécrite (2026-1-15x). Pour un contrôle fiable, cochez Utiliser la vérification stricte des dates (exemple 4). The fastest check accepts an impossible date for "yyyy-MM-dd": FastDateParser marks the text as read before building the date, then catches the error and writes it on the error output, one trace per value. It does not check the separators or the end of the text either. The default check accepts a text of the same length as the date written again (2026-1-15x). For a reliable check, check Use Strict Date check (example 4).

Personnalisé : tout est obligatoire par défautCustom defined: everything is mandatory by default

Dans le tableau Colonnes vérifiées, Nullable est décoché par défaut : en passant en mode Personnalisé, toutes les colonnes refusent null et la chaîne vide, quel que soit le schéma. Cochez-le pour les colonnes facultatives. In the Checked Columns table, Nullable is unchecked by default: when switching to Custom defined mode, all the columns refuse null and the empty string, whatever the schema. Check it for the optional columns.

Espaces et casseSpaces and case

" 12" n'est pas un Integer et TRUE n'est pas un Boolean (exemple 2). Nettoyez les valeurs avant le contrôle, avec un tReplace ou un tJavaRow (trim(), toLowerCase()). " 12" is not an Integer and TRUE is not a Boolean (example 2). Clean the values before the check, with a tReplace or a tJavaRow (trim(), toLowerCase()).

Par le rang, pas par le nomBy rank, not by name

Le schéma à tester et le tableau Colonnes vérifiées sont lus dans l'ordre des colonnes : ajouter ou déplacer une colonne dans l'entrée décale tous les contrôles qui suivent. Gardez le même ordre des deux côtés. The schema to test and the Checked Columns table are read in the order of the columns: adding or moving a column in the input shifts all the checks that follow. Keep the same order on both sides.

Le code 16Code 16

Dès que deux colonnes sont en erreur, errorCode vaut 16 et ne dit plus quels contrôles ont échoué : lisez errorMessage, qui les liste tous. Gardez les deux colonnes dans le fichier des rejets. As soon as two columns are in error, errorCode is 16 and no longer says which checks failed: read errorMessage, which lists them all. Keep both columns in the reject file.

Voir aussiSee also