ComposantsComponents

ComposantsComponents › Orchestration

tParallelize

tParallelize

Orchestration Fourni par Talaxie 9Provided by Talaxie 9

Lance en même temps plusieurs sous-jobs, chacun dans son thread, puis, quand ils sont tous finis (ou dès que le premier l'est), le sous-job relié par Synchronize. Pour gagner du temps quand des traitements ne dépendent pas les uns des autres : charger plusieurs fichiers, interroger plusieurs sources. Starts several subjobs at the same time, each in its own thread, then, when they are all finished (or as soon as the first one is), the subjob connected with Synchronize. To save time when processings do not depend on each other: load several files, query several sources.

Composant de Talaxie 9. Les composants du Studio Talaxie 8 n'ont pas de tParallelize : le code du Studio y fait référence, mais son dossier de composant n'existe pas. Talaxie 9 le fournit, dans la famille Orchestration de sa palette, avec les liens Parallelize et Synchronize. Talaxie 9 component. The components of the Talaxie 8 Studio have no tParallelize: the Studio code refers to it, but its component folder does not exist. Talaxie 9 provides it, in the Orchestration family of its palette, with the Parallelize and Synchronize links.

EntréeInput

Aucune : il commence son sous-job. Il peut aussi être déclenché par un autre sous-job (On Subjob Ok, Run if…). None: it starts its subjob. It can also be triggered by another subjob (On Subjob Ok, Run if…).

SortieOutput

Parallelize un lien par sous-job à lancer ; Synchronize un lien au plus, vers la suite. Parallelize one link per subjob to start; Synchronize one link at most, to what comes next.

Déclencheurs en sortieOutput triggers

aucunnone ni On Subjob Ok, ni Run if : la suite passe par Synchronize. neither On Subjob Ok nor Run if: what comes next goes through Synchronize.

UtilisationUsage

Parallelize Parallelize Synchronize (Wait for all) tParallelize_1 tJava_1 (sous-job A) (subjob A) tJava_2 (sous-job B) (subjob B) tJava_3 (la suite) (what comes next)

Chaque lien Parallelize arrive sur le premier composant d'un sous-job ; ce sous-job peut être aussi long que nécessaire (lecture, tMap, écriture…). Le tParallelize attend leur fin, puis lance le sous-job relié par Synchronize. Each Parallelize link goes to the first component of a subjob; this subjob can be as long as needed (read, tMap, write…). The tParallelize waits for them to end, then starts the subjob connected with Synchronize.

  1. Déposez le tParallelize depuis la famille Orchestration de la palette de Talaxie. Drop the tParallelize from the Orchestration family of the Talaxie palette.
  2. Tracez un lien Parallelize (clic droit › Déclencher › Parallelize) vers le premier composant de chaque sous-job à lancer en même temps. Le premier lien Parallelize ou Synchronize coche Exécution multi thread dans les réglages du job (page Extra), comme dans le Studio. Draw a Parallelize link (right-click › Trigger › Parallelize) to the first component of each subjob to start at the same time. The first Parallelize or Synchronize link checks Multi thread execution in the job settings (Extra page), as in the Studio.
  3. Tracez au besoin un lien Synchronize vers le sous-job à exécuter ensuite, puis choisissez dans Attendre s'il part après tous les sous-jobs ou après le premier. If needed, draw a Synchronize link to the subjob to run next, then choose in Wait for whether it starts after all the subjobs or after the first one.

ParamètresSettings

Le nom technique, en gris, est celui du paramètre dans le fichier du job. The technical name, in grey, is the parameter name in the job file.

ParamètreSetting DéfautDefault OngletTab Description
AttendreWait forWAIT_FOR fin de tous les sous-Jobsend of all subjobs Paramètres simplesBasic settings fin de tous les sous-Jobs : Synchronize part quand chacun est fini, avec ou sans erreur. fin du premier sous-Job : dès que l'un d'eux est fini ; les autres continuent pendant ce temps. end of all subjobs: Synchronize starts when each one is finished, with or without an error. end of first subjob: as soon as one of them is finished; the others go on meanwhile.
Durée de la pauseSleep DurationSLEEPTIME 100 Paramètres simplesBasic settings Intervalle, en millisecondes, entre deux vérifications de l'état des sous-jobs. Synchronize part au plus cet intervalle après la fin attendue. Interval, in milliseconds, between two checks of the subjob states. Synchronize starts at most this interval after the expected end.
Arrêt en cas d'échec d'un des sous-Jobs parallèlesDie when one of parallelize subjobs failsDIE_ON_ERROR NonNo Paramètres simplesBasic settings Dès qu'un sous-job échoue, interrompt les autres et arrête le tParallelize avec une erreur : Synchronize ne s'exécute pas et le job se termine en erreur. Décochée, l'échec d'un sous-job n'empêche pas Synchronize. As soon as a subjob fails, interrupts the others and stops the tParallelize with an error: Synchronize does not run and the job ends in error. Unchecked, the failure of a subjob does not prevent Synchronize.

Le composant n'a pas de variable globale. Les sous-jobs partagent globalMap, protégé pour l'accès depuis plusieurs threads : une valeur rangée par un sous-job parallèle se lit dans le sous-job Synchronize. The component has no global variable. The subjobs share globalMap, protected for access from several threads: a value stored by a parallel subjob can be read in the Synchronize subjob.

ExemplesExamples

Trois tJava : deux reliés par Parallelize (A et B), un par Synchronize. Les sorties sont celles de la console, copiées depuis une exécution du job. Three tJava: two connected with Parallelize (A and B), one with Synchronize. The outputs are the console ones, copied from a run of the job.

Attendre la fin de tousWait for the end of all

Réglages par défaut. A attend 300 ms : B finit avant lui. Synchronize part une fois les deux finis et lit leurs valeurs dans globalMap. Default settings. A waits 300 ms: B finishes before it. Synchronize starts once both are finished and reads their values in globalMap.

// tJava_1 (A, Parallelize)
Thread.sleep(300);
globalMap.put("rowsA", 120);
System.out.println("Subjob A done");
// tJava_2 (B, Parallelize)
globalMap.put("rowsB", 80);
System.out.println("Subjob B done");
// tJava_3 (Synchronize)
System.out.println("Both done: "
    + ((Integer) globalMap.get("rowsA")
       + (Integer) globalMap.get("rowsB"))
    + " rows");
Subjob B done
Subjob A done
Both done: 200 rows

Attendre le premierWait for the first one

Attendre : fin du premier sous-Job. A attend une seconde ; Synchronize part dès la fin de B, et A finit après. Wait for: end of first subjob. A waits one second; Synchronize starts as soon as B ends, and A finishes afterwards.

// tJava_1 (A, Parallelize)
Thread.sleep(1000);
System.out.println("Slow subjob done");
// tJava_2 (B, Parallelize)
System.out.println("Fast subjob done");
// tJava_3 (Synchronize)
System.out.println("After the first subjob");
Fast subjob done
After the first subjob
Slow subjob done

Le job se termine une fois A fini, avec le code 0. The job ends once A is finished, with exit code 0.

Déclenché par un autre sous-jobTriggered by another subjob

OnSubjobOk Parallelize Parallelize Synchronize (Wait for all) tJava_1 tParallelize_1 tJava_2 tJava_3 tJava_4

tJava_1 affiche Start, tJava_2 et tJava_3 A et B, tJava_4 End. tJava_1 prints Start, tJava_2 and tJava_3 A and B, tJava_4 End.

Start
A
B
End

Quand un sous-job échoueWhen a subjob fails

Le sous-job B lève une exception, A attend avant d'écrire son message. Le nom du job est remplacé par MyJob et les traces d'exception sont abrégées. Subjob B throws an exception, A waits before writing its message. The job name is replaced with MyJob and the exception traces are shortened.

// tJava_2 (B, Parallelize)
if (true) throw new RuntimeException("Subjob B failed");
// tJava_3 (Synchronize)
System.out.println("Synchronize subjob");

Arrêt décoché (défaut)Die unchecked (default)

A attend 300 ms puis écrit Subjob A done. A waits 300 ms then writes Subjob A done.

Exception in component tJava_2 (MyJob)
java.lang.RuntimeException: Subjob B failed
	at demo.myjob_0_1.MyJob.tJava_2Process(MyJob.java:890)
	…
Subjob A done
Synchronize subjob

L'erreur est écrite, A continue et Synchronize s'exécute quand même. Le job se termine avec le code 0. The error is written, A goes on and Synchronize runs anyway. The job ends with exit code 0.

Arrêt en cas d'échec cochéDie on failure checked

A attend 3 s avant d'écrire. A waits 3 s before writing.

Exception in component tJava_2 (MyJob)
java.lang.RuntimeException: Subjob B failed
	…
Exception in component tJava_1 (MyJob)
java.lang.InterruptedException: sleep interrupted
	…
Exception in component tParallelize_1 (MyJob)
java.lang.Exception: At least one subjob in Talaxie orchestration failed: stopping parallel execution.
	…

A est interrompu sans finir, Synchronize ne s'exécute pas, le job se termine avec le code 1. A is interrupted without finishing, Synchronize does not run, the job ends with exit code 1.

Conseils et limitesTips and limits

Un échec ne bloque pas la suiteA failure does not block what comes next

Sans Arrêt en cas d'échec…, Synchronize part même si un sous-job a échoué, et le job finit avec le code 0. Si la suite a besoin de tous les résultats, cochez la case. Without Die when one of parallelize subjobs fails, Synchronize starts even if a subjob failed, and the job ends with code 0. If what comes next needs all the results, check the box.

Sorties mélangéesMixed outputs

Les sous-jobs écrivent dans la même console : l'ordre de leurs lignes n'est pas garanti. Dans un tLogRow, cochez l'affichage du nom unique pour savoir qui écrit quoi. The subjobs write to the same console: the order of their lines is not guaranteed. In a tLogRow, check the unique name option to know who writes what.

Une clé par sous-jobOne key per subjob

globalMap est commun à tous les sous-jobs : deux sous-jobs qui rangent la même clé s'écrasent. Donnez à chacun ses propres clés (rowsA, rowsB). globalMap is shared by all the subjobs: two subjobs that store the same key overwrite each other. Give each one its own keys (rowsA, rowsB).

Durée de la pauseSleep duration

Elle ne ralentit pas les sous-jobs : c'est le délai entre deux vérifications du tParallelize. La valeur par défaut, 100 ms, convient presque toujours. It does not slow the subjobs down: it is the delay between two checks of the tParallelize. The default value, 100 ms, almost always fits.

Voir aussiSee also