job中執(zhí)行每行

job中執(zhí)行每行 有時(shí)，我們需要job或轉(zhuǎn)換執(zhí)行多次，且每次傳入的參數(shù)都不同。假如你正在做數(shù)據(jù)遷移的工作，需要導(dǎo)入每天的舊數(shù)據(jù)，則需要一個(gè)job根據(jù)指定的日期導(dǎo)入數(shù)據(jù)，該日期被指定作為參數(shù)，如果我們需要導(dǎo)入從一個(gè)起始日期到昨天所有的舊數(shù)據(jù)，手工運(yùn)行j

job中執(zhí)行每行

有時(shí)，我們需要job或轉(zhuǎn)換執(zhí)行多次，且每次傳入的參數(shù)都不同。假如你正在做數(shù)據(jù)遷移的工作，需要導(dǎo)入每天的舊數(shù)據(jù)，則需要一個(gè)job根據(jù)指定的日期導(dǎo)入數(shù)據(jù)，該日期被指定作為參數(shù)，如果我們需要導(dǎo)入從一個(gè)起始日期到昨天所有的舊數(shù)據(jù)，手工運(yùn)行job是痛苦的也是錯(cuò)誤的做法，kettle是可以首先計(jì)算正確的日期然后根據(jù)每個(gè)日期運(yùn)行導(dǎo)入job。
在主job中，首先運(yùn)行返回日期轉(zhuǎn)換（每個(gè)日期作為一行），實(shí)際導(dǎo)入數(shù)據(jù)的job放在轉(zhuǎn)換的后面執(zhí)行，并且根據(jù)轉(zhuǎn)換的結(jié)果執(zhí)行每一行，job可以被設(shè)置從一個(gè)結(jié)果字段中獲取參數(shù)。

生成日期
這個(gè)轉(zhuǎn)換負(fù)責(zé)生成只有一個(gè)日期字段的數(shù)據(jù)行，“set start date ”步驟生成10000行數(shù)據(jù)流（根據(jù)實(shí)際情況估算行數(shù)，測(cè)試時(shí)可以設(shè)置小點(diǎn)），包括一個(gè)日期類(lèi)型常量字段。“calc days”步驟插入一個(gè)序列到數(shù)據(jù)流中，為了在“calc date”步驟可以計(jì)算連續(xù)的日期；其后的步驟去除掉其他的輔助字段，然后增加昨天的日期到數(shù)據(jù)流中；接著是一個(gè)比較功能的步驟，判斷每行的中日期是否早于今天，如果進(jìn)入“discard”步驟，否則進(jìn)入“copy rows to result”步驟。

主job
主job中執(zhí)行生成日期轉(zhuǎn)換之后，是子job，負(fù)責(zé)執(zhí)行每個(gè)輸入日期，該job必須要明確設(shè)置去執(zhí)行每個(gè)輸入行，即設(shè)置“execute for every input row”復(fù)選框選中。同時(shí)需要傳入一個(gè)計(jì)算日期，通過(guò)“date”參數(shù)，所以“copy previous results to parameters？”也需要選中。最后參數(shù)必須從輸入行中映射，參數(shù)名和輸入字段都命名為“date”。

子job
子job接收每行的“date”日期參數(shù)并運(yùn)行，示例中簡(jiǎn)單使用date參數(shù)記錄日志然后完成。

下載
這里下載本示例，主job運(yùn)行子job，針對(duì)從2010-01-01到昨天的所有行。需要指出的是，本示例的技術(shù)并不適合所有的場(chǎng)合，特別“循環(huán)直到條件為真”（不確定次數(shù)），這時(shí)可能用到這篇文章的方法去實(shí)現(xiàn)循環(huán)。

聲明：本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。TEL:177 7030 7066 E-MAIL:11247931@qq.com