Mapitio ya Semalt - Kuendesha Hati ya Kukunja

Hewa ya hewa ni maktaba za mpangilio wa Python inayotumiwa kusanidi kazi za mfumo wa aina nyingi kutekelezwa sambamba katika idadi yoyote ya watumiaji. Bomba moja la Airflow linajumuisha shughuli za SQL, bash, na Python. Chombo hicho hufanya kazi kwa kubainisha utegemezi kati ya kazi, jambo muhimu ambalo husaidia kuamua kazi zinaendeshwa sambamba na ambazo zinatekelezwa baada ya kazi zingine kukamilika.

Kwa nini Hewa?

Chombo cha hewa ya hewa imeandikwa katika Python, kukupa faida ya kuongeza waendeshaji wako kwenye utendaji tayari wa kitamaduni uliowekwa. Chombo hiki hukuruhusu kutafuta data kwa njia ya mabadiliko kutoka kwa wavuti kwenda kwenye hifadhidata iliyo na muundo mzuri. Hewa ya hewa hutumia Graphs za Acyclic zilizoelekezwa (DAG) kuwakilisha safu maalum ya kazi. Katika kesi hii, mtiririko wa kazi inamaanisha mkusanyiko wa kazi ambazo zinajumuisha utegemezi wa mwelekeo.

Jinsi Apache Hewa inavyofanya kazi

Hewa ya hewa ni Mfumo wa Usimamizi wa Ghala ambao hufanya kazi kufafanua majukumu kama utegemezi wao wa mwisho kama kanuni inavyofanya kazi kwenye ratiba na kusambaza utekelezaji wa kazi katika michakato yote ya mfanyakazi. Chombo hiki hutoa interface ya mtumiaji ambayo inaonyesha hali ya kazi zote za zamani na za zamani.

Hewa ya hewa inaonyesha habari ya utambuzi kwa watumiaji kuhusu mchakato wa utekelezaji wa kazi na inaruhusu mtumiaji wa mwisho kusimamia utekelezaji wa majukumu kwa mikono. Kumbuka kuwa grafu ya acyclic iliyoelekezwa hutumiwa tu kuweka muktadha wa utekelezaji na kupanga kazi. Katika Utiririshaji wa hewa, kazi ni vitu muhimu ambavyo huandaa hati ya kuvua. Katika chakavu, kazi zinajumuisha ladha mbili ambazo ni pamoja na:

  • Operesheni

Katika hali nyingine, kazi hufanya kazi kama waendeshaji ambapo hufanya shughuli kama ilivyoainishwa na watumiaji wa mwisho. Waendeshaji wameundwa kuendesha maandishi ya chakavu na kazi zingine ambazo zinaweza kufanywa kwa lugha ya programu ya Python.

  • Sensor

Kazi pia huandaliwa kufanya kazi kama sensorer. Katika hali kama hiyo, utekelezaji wa majukumu ambayo hutegemea kila mmoja unaweza kusitishwa hadi kigezo ambapo utiririshaji wa kazi unafanyika vizuri.

Utaftaji wa hewa hutumiwa katika nyanja tofauti kuendesha maandishi. Chini ni mwongozo wa jinsi ya kutumia Airflow.

  • Fungua kivinjari chako na uangalie kigeuzio chako cha mtumiaji
  • Angalia mtiririko wa kazi ambao umeshindwa na ubonyeze juu yake kuona kazi ambazo hazikuenda sawa
  • Bonyeza kwa "Angalia logi" ili uangalie sababu ya kutofaulu. Katika hali nyingi, kushindwa kwa uthibitisho wa nywila husababisha kutofaulu kwa kazi
  • Nenda kwenye sehemu ya admin na ubonyeze kwenye "Viunganisho." Hariri unganisho la Postgres ili kupata nenosiri mpya na bonyeza "Hifadhi."
  • Tembelea kivinjari chako na ubonyeze kazi ambayo haikufaulu. Bonyeza kwenye kazi na gonga "Wazi" ili kazi iweze kufanya kazi wakati mwingine.

Wapangaji wengine wa Python wa kuzingatia

Cron

Cron ni OS ya msingi wa Unix inayotumiwa kukokota hati mara kwa mara kwa vipindi, tarehe, na nyakati. Maktaba hii inatumika zaidi kutunza na kuweka mazingira ya programu.

Luigi

Luigi ni moduli ya Python ambayo itakuruhusu kushughulikia taswira na azimio la utegemezi. Luigi hutumiwa kwa kuunda bomba ngumu za ukusanyaji wa kazi.

Hewa ya hewa ni maktaba ya ratiba ya Python inayotumiwa kushughulikia miradi ya usimamizi wa utegemezi. Katika Anga ya hewa, kazi za kukimbia hutegemea kila mmoja. Ili kupata matokeo thabiti, unaweza kuweka hati yako ya Hewa ya Hewa ili kukimbia kiotomatiki baada ya saa moja au mbili.