ຕົວເລກບໍລິຫານຂຶ້ນກັບຄົນດຽວ
ບົດລາຍງານສະຫຼຸບຖືກປະກອບດ້ວຍມືຈາກຫຼາຍແຫຼ່ງ. ບໍ່ມີໃຜອື່ນກວດສອບໄດ້ ແລະ ເມື່ອຄົນນັ້ນບໍ່ຢູ່ ໄລຍະການລາຍງານກໍ່ຊັກຊ້າ.
ຮູບຊົງ ແລະ ອິດທິພົນ
ແພລດຟອມຂໍ້ມູນທີ່ຂະຫຍາຍຕໍ່ໄດ້ ບໍ່ແມ່ນທີ່ຕ້ອງສ້າງໃໝ່
ໝາກທີ່ດີບໍ່ພຽງແຕ່ມີຄ່າຢູ່ຈຸດທີ່ວາງລົງເທົ່ານັ້ນ ແຕ່ຍັງສ້າງອິດທິພົນໃຫ້ແກ່ໝາກຕໍ່ໆໄປ. ຮູບຊົງທີ່ບໍ່ດີຈະອ່ອນແອລົງເລື້ອຍໆ ຕາມທີ່ເກມຍາວອອກໄປ.
ສະຖາປັດຕະຍະກຳຂໍ້ມູນກໍ່ເປັນເຊັ່ນດຽວກັນ. ລະບົບທີ່ປະກອບຂຶ້ນຢ່າງຮີບຮ້ອນຈະເຮັດວຽກໄດ້ທັນທີ ແຕ່ມັນຈຳກັດທຸກທາງເລືອກທີ່ຕາມມາ ແລະ ການລົງທຶນແຕ່ລະຮອບແພງກວ່າຮອບກ່ອນໜ້າ. ພວກເຮົາສ້າງເທິງສະຖາປັດຕະຍະກຳ lakehouse: ແຍກຊັ້ນຈັດເກັບອອກຈາກຊັ້ນປະມວນຜົນ, ຕາຕະລາງທີ່ຮັກສາປະຫວັດຂອງຕົນໄວ້, ສາຍທໍ່ຂໍ້ມູນທີ່ບໍລິຫານແບບລະຫັດຕົ້ນສະບັບ. ທຸກຂັ້ນຕອນຕໍ່ໄປເປັນການເພີ່ມເຂົ້າໃນແພລດຟອມ ບໍ່ແມ່ນການທົດແທນມັນ.
ບັນຫາ
ສີ່ສັນຍານວ່າຂໍ້ມູນຂອງທ່ານຮອດຂີດຈຳກັດແລ້ວ
ຖ້າກົງກັບສອງຂໍ້ຂຶ້ນໄປ ບັນຫາບໍ່ແມ່ນການຂາດເຄື່ອງມືລາຍງານ ແຕ່ແມ່ນຂໍ້ມູນບໍ່ມີບ່ອນເກັບສູນກາງ ແລະ ບໍ່ມີສາຍທໍ່ປະມວນຜົນຢູ່ເບື້ອງຫຼັງ.
ຕົວຊີ້ວັດດຽວ ແຕ່ຕົວເລກຫຼາຍແບບ
ແຕ່ລະພະແນກດຶງຂໍ້ມູນຈາກລະບົບຕ່າງກັນ ແລະ ຄິດໄລ່ຄົນລະວິທີ. ການປະຊຸມໝົດເວລາໄປກັບການຖົກຖຽງວ່າຕົວເລກໃດຖືກຕ້ອງ ແທນທີ່ຈະເວົ້າກັນວ່າຈະເຮັດຫຍັງຕໍ່ໄປ.
ຕົວເລກຮອດຜູ້ບໍລິຫານເມື່ອລ້າສະໄໝແລ້ວ
ການຕັດສິນໃຈຂອງໄລຍະນີ້ອີງໃສ່ສະຖານະຂອງໄລຍະກ່ອນ. ຄວາມຊັກຊ້ານັ້ນຄືຕົ້ນທຶນເສຍໂອກາດ ເຖິງແມ່ນວ່າມັນບໍ່ປາກົດໃນລາຍງານການເງິນສະບັບໃດກໍ່ຕາມ.
ຕົວເລກໃນອະດີດສ້າງຂຶ້ນຄືນບໍ່ໄດ້
ລະບົບງານທຸລະກິດຂຽນທັບສະຖານະກ່ອນໜ້າ. ເມື່ອຕ້ອງອະທິບາຍຕົວເລກຂອງໄລຍະກ່ອນ ຫຼື ເມື່ອການກວດສອບຕ້ອງການ ກໍ່ສ້າງຂຶ້ນຄືນບໍ່ໄດ້.
ການແບ່ງຊັ້ນ
Bronze, Silver, Gold
ຂໍ້ມູນຜ່ານສາມຊັ້ນ ແຕ່ລະຊັ້ນມີລະດັບຄວາມໜ້າເຊື່ອຖືຂອງຕົນ. ການແບ່ງຊັ້ນນີ້ຊ່ວຍໃຫ້ຕິດຕາມໄດ້ວ່າຕົວເລກທີ່ຜິດເກີດຂຶ້ນຈາກຈຸດໃດ ແທນທີ່ຈະຕ້ອງກວດຄືນທັງສາຍທໍ່.
- Bronze
ຊັ້ນຂໍ້ມູນດິບ
ຂໍ້ມູນຖືກນຳເຂົ້າຕາມທີ່ມາຈາກແຫຼ່ງທຸກປະການ ໂດຍບໍ່ມີການແກ້ໄຂໃດໆ. ລາຍການທີ່ຜິດພາດ ແລະ ຊໍ້າກັນຖືກເກັບໄວ້ຕາມເດີມ.
ເປັນຫຍັງຈຶ່ງຕ້ອງມີຊັ້ນນີ້ ເມື່ອພົບວ່າຕົວກົດການແປງຂໍ້ມູນຜິດ ກໍ່ສາມາດຄິດໄລ່ໃໝ່ທັງໝົດຕັ້ງແຕ່ຕົ້ນໄດ້ ໂດຍບໍ່ຕ້ອງຂໍຂໍ້ມູນຈາກລະບົບແຫຼ່ງອີກຄັ້ງ.
- Silver
ຊັ້ນຂໍ້ມູນທີ່ຜ່ານການຈັດລະບຽບ
ຊະນິດຂໍ້ມູນຖືກປັບໃຫ້ເປັນມາດຕະຖານ, ລາຍການຊໍ້າຖືກລຶບອອກ, ກະແຈຖືກກວດທຽບກັນລະຫວ່າງແຫຼ່ງຕ່າງໆ ແລະ ຄ່າທີ່ຂາດຫາຍຖືກຈັດການພາຍໃຕ້ຊຸດກົດລະບຽບດຽວ.
ເປັນຫຍັງຈຶ່ງຕ້ອງມີຊັ້ນນີ້ ນີ້ແມ່ນຊັ້ນທີ່ວິສະວະກອນຂໍ້ມູນ ແລະ ນັກວິເຄາະໃຊ້ງານ. ໜຶ່ງລາຍການຕໍ່ໜຶ່ງແຖວ, ໜຶ່ງຄວາມໝາຍຕໍ່ໜຶ່ງກະແຈ.
- Gold
ຊັ້ນໃຫ້ບໍລິການຂໍ້ມູນ
ຕາຕະລາງສະຫຼຸບຕາມຫົວຂໍ້ທຸລະກິດ, ຕົວຊີ້ວັດທີ່ຄິດໄລ່ໄວ້ລ່ວງໜ້າ, ແບບຈຳລອງມິຕິທີ່ສ້າງຂຶ້ນສຳລັບການລາຍງານ.
ເປັນຫຍັງຈຶ່ງຕ້ອງມີຊັ້ນນີ້ ບົດລາຍງານອ່ານຈາກບ່ອນນີ້ໂດຍກົງ ຈຶ່ງເປີດໄດ້ໄວ. ຕົວຊີ້ວັດແຕ່ລະຕົວມີນິຍາມດຽວ ແລະ ຖືກບັນທຶກໄວ້ເປັນລາຍລັກອັກສອນ.
ຊຸດເຕັກໂນໂລຢີ
ແປດອົງປະກອບ ເປັນແຫຼ່ງເປີດທັງໝົດ
ບໍ່ມີຄ່າລິຂະສິດໃນລາຍການນີ້. ຕົ້ນທຶນຢູ່ທີ່ການບໍລິຫານລະບົບ ແລະ ນັ້ນຄືສ່ວນທີ່ພວກເຮົາຮັບຜິດຊອບ.
ແຫຼ່ງຂໍ້ມູນ
ລະບົບງານທຸລະກິດ Oracle, PostgreSQL, MySQL
ຂໍ້ມູນທີ່ບໍ່ມີໂຄງສ້າງ ໄຟລ໌, log, ເອກະສານ
ການນຳເຂົ້າຂໍ້ມູນ
Airflow ຕາມກຳນົດເວລາ
Rust, Python ການປະມວນຜົນແບບສາຍ
ການຈັດເກັບ
Iceberg ເທິງ S3 Bronze, Silver, Gold
PostgreSQL ຂໍ້ມູນກຳກັບ
ການນຳໃຊ້ຂໍ້ມູນ
Trino ການສອບຖາມແບບກະຈາຍ
Superset ບົດລາຍງານ, ແດຊບອດ
| ຊັ້ນ | ເຕັກໂນໂລຢີ | ບົດບາດ |
|---|---|---|
| ຮູບແບບຕາຕະລາງ | Apache Iceberg | ຕາຕະລາງທີ່ມີການລົງສະບັບ, ຄວາມສາມາດອ່ານສະຖານະຍ້ອນຫຼັງ ໄດ້ທຸກຊ່ວງເວລາ ແລະ ການປ່ຽນແປງໂຄງສ້າງທີ່ບໍ່ຕ້ອງຂຽນຂໍ້ມູນທັງໝົດຄືນໃໝ່. |
| ການຈັດເກັບ | S3 ທີ່ບໍລິຫານໃນຫວຽດນາມ | ພື້ນທີ່ເກັບຂໍ້ມູນແບບ object ແຍກອອກຈາກຊັ້ນປະມວນຜົນ ຈຶ່ງຂະຫຍາຍໄດ້ຢ່າງອິດສະຫຼະ ແລະ ຕົ້ນທຶນຕໍ່າ. |
| ການສອບຖາມ | Trino | ການສອບຖາມແບບກະຈາຍເທິງຂໍ້ມູນໃນພື້ນທີ່ເກັບແບບ object ພ້ອມຄວາມສາມາດເຊື່ອມຕາຕະລາງຂ້າມໄປຫາຖານຂໍ້ມູນຂອງລະບົບງານທຸລະກິດພາຍໃນຄຳສັ່ງດຽວກັນ. |
| ການຄວບຄຸມລຳດັບວຽກ | Apache Airflow | ການກຳນົດເວລາ ແລະ ເຝົ້າຕິດຕາມສາຍທໍ່ຂໍ້ມູນ, ການບໍລິຫານຄວາມສຳພັນລະຫວ່າງຂັ້ນຕອນ ແລະ ການເຮັດຂັ້ນຕອນທີ່ລົ້ມເຫຼວຄືນໃໝ່ ໂດຍບໍ່ຕ້ອງເຮັດຄືນທັງໝົດ. |
| ການແປງຂໍ້ມູນ | dbt | ຕົວກົດການແປງຂໍ້ມູນຂຽນດ້ວຍ SQL, ບໍລິຫານໃນ git, ພ້ອມການທົດສອບຂໍ້ມູນ ແລະ ເອກະສານທີ່ສ້າງຂຶ້ນອັດຕະໂນມັດ. |
| ຂໍ້ມູນກຳກັບ | PostgreSQL | ເກັບລາຍການຕາຕະລາງ, ປະຫວັດການເຮັດວຽກ, ບັນທຶກຄຸນນະພາບຂໍ້ມູນ ແລະ ການຕັ້ງຄ່າສາຍທໍ່ຂໍ້ມູນ. |
| ການປະມວນຜົນ | Rust ແລະ Python | Python ສຳລັບສາຍທໍ່ຂໍ້ມູນສ່ວນຫຼາຍ ແລະ ວຽກເຊື່ອມຕໍ່ລະບົບ. Rust ສຳລັບຂັ້ນຕອນທີ່ຕ້ອງການປະສິດທິພາບສູງ ຫຼື ເຮັດວຽກຕໍ່ເນື່ອງ. |
| ການສະແດງຜົນ | Apache Superset | ບົດລາຍງານ ແລະ ແດຊບອດ ພ້ອມການຄວບຄຸມສິດເຂົ້າເຖິງຕາມບົດບາດ ແລະ ຕາມໜ່ວຍງານ. |
ພາສາທີ່ໃຊ້ປະມວນຜົນ
Python ສຳລັບຄວາມກວ້າງ, Rust ສຳລັບຈຸດທີ່ໜັກ
ພາສາຖືກເລືອກໃຫ້ເໝາະກັບແຕ່ລະຂັ້ນຕອນການປະມວນຜົນ ແທນທີ່ຈະໃຊ້ພາສາດຽວກັບທຸກຢ່າງ.
Python ສຳລັບປະລິມານວຽກສ່ວນໃຫຍ່
Python ມີລະບົບນິເວດຂອງໄລບຣາຣີດ້ານຂໍ້ມູນກວ້າງທີ່ສຸດ ແລະ ທີມເຕັກນິກຂອງອົງກອນທ່ານມັກຈະຄຸ້ນເຄີຍກັບມັນຢູ່ແລ້ວ. ສາຍທໍ່ນຳເຂົ້າຂໍ້ມູນ, ວຽກເຊື່ອມຕໍ່ລະບົບ ແລະ ຂັ້ນຕອນການແປງຂໍ້ມູນສ່ວນຫຼາຍ ຂຽນດ້ວຍ Python.
Rust ສຳລັບຂັ້ນຕອນທີ່ຕ້ອງການປະສິດທິພາບ
ຂັ້ນຕອນທີ່ເຮັດວຽກຕໍ່ເນື່ອງ ຫຼື ຈັດການປະລິມານຂໍ້ມູນຫຼວງຫຼາຍ — ການແຍກວິເຄາະໄຟລ໌ log, ການປັບມາດຕະຖານສາຍຂໍ້ມູນເຫດການ, ບໍລິການທີ່ເຮັດວຽກຍາວນານ — ຂຽນດ້ວຍ Rust ເຊິ່ງຫຼຸດຊັບພະຍາກອນເຊີບເວີ ແລະ ຕັດຂໍ້ຜິດພາດດ້ານໜ່ວຍຄວາມຈຳໝົດໝວດໜຶ່ງ.
ບໍ່ທົດແທນສິ່ງທີ່ເຮັດວຽກດີຢູ່ແລ້ວ
ພວກເຮົາບໍ່ສະເໜີໃຫ້ຍ້າຍອົງປະກອບ Python ທີ່ເຮັດວຽກດີຢູ່ແລ້ວໄປເປັນ Rust. ພວກເຮົານຳໃຊ້ມັນສະເພາະບ່ອນທີ່ວັດປະໂຫຍດໄດ້ ແລະ ລະບຸຂໍ້ແລກປ່ຽນໄວ້: ວິສະວະກອນ Rust ຫາໄດ້ຍາກກວ່າ.
ຂໍ້ຄວນພິຈາລະນາ
ສີ່ຄຳຖາມທີ່ຄວນຖາມກ່ອນເລີ່ມ
ໂຄງການດ້ານຂໍ້ມູນມັກລົ້ມເຫຼວດ້ວຍເຫດຜົນທີ່ບໍ່ແມ່ນເລື່ອງເຕັກນິກ: ເລີ່ມໄວເກີນໄປ ຫຼື ສ້າງໃຫຍ່ກວ່າຄວາມຕ້ອງການຕົວຈິງ.
- ອົງກອນແບບໃດທີ່ບໍ່ຈຳເປັນຕ້ອງມີ lakehouse?
- ສ່ວນຫຼາຍບໍ່ຈຳເປັນ. ຖ້າຂໍ້ມູນຢູ່ໄດ້ໃນຖານຂໍ້ມູນເຊີງສຳພັນດຽວ ແລະ ບົດລາຍງານເຮັດວຽກສຳເລັດພາຍໃນບໍ່ເທົ່າໃດວິນາທີ ການເພີ່ມ Iceberg, Trino ແລະ Airflow ຈະເພີ່ມຕົ້ນທຶນການບໍລິຫານລະບົບ ໂດຍບໍ່ໄດ້ແກ້ບັນຫາຫຍັງ. ພວກເຮົາແນະນຳໃຫ້ເລີ່ມດ້ວຍຖານຂໍ້ມູນວິເຄາະ PostgreSQL ແຍກຕ່າງຫາກ ແລ້ວຈຶ່ງຂະຫຍາຍເມື່ອຮອດຂີດຈຳກັດຕົວຈິງ.
- ສະຖາປັດຕະຍະກຳນີ້ມີຕົ້ນທຶນຢູ່ໃສແທ້?
- ບໍ່ແມ່ນຄ່າລິຂະສິດ ເພາະຊຸດເຕັກໂນໂລຢີທັງໝົດເປັນແຫຼ່ງເປີດ. ຕົ້ນທຶນຢູ່ທີ່ການບໍລິຫານລະບົບ: ທ່ານຕ້ອງມີຄົນທີ່ເຂົ້າໃຈ Trino, ຄົນທີ່ຕອບສະໜອງໄດ້ເມື່ອສາຍທໍ່ຂໍ້ມູນລົ້ມເຫຼວນອກເວລາເຮັດວຽກ ແລະ ຄົນທີ່ດູແລຕົວກົດ dbt ໃຫ້ທັນກັບການປ່ຽນແປງຂອງທຸລະກິດ. ນັ້ນຄືສ່ວນທີ່ພວກເຮົາຮັບຜິດຊອບ.
- ໝາຍຄວາມວ່າຕ້ອງທົດແທນລະບົບທີ່ໃຊ້ຢູ່ໃນປັດຈຸບັນບໍ?
- ບໍ່. ຊັ້ນວິເຄາະອ່ານຂໍ້ມູນອອກມາ ບໍ່ໄດ້ຂຽນກັບຄືນເຂົ້າລະບົບງານທຸລະກິດ. ຖ້າແພລດຟອມຂໍ້ມູນທັງໝົດຢຸດເຮັດວຽກ ການດຳເນີນງານປະຈຳວັນຍັງຄົງດຳເນີນຕໍ່ຕາມປົກກະຕິ. ນີ້ແມ່ນຂໍ້ຈຳກັດຂອງການອອກແບບ.
- ພວກເຮົາຄວນເລີ່ມຈາກຈຸດໃດ?
- ເລີ່ມຈາກຫົວຂໍ້ທຸລະກິດໜຶ່ງທີ່ມີຄົນລໍຖ້າຕົວເລກຢູ່ແທ້. ພວກເຮົາສ້າງສາຍທໍ່ຂໍ້ມູນຄົບຖ້ວນຕັ້ງແຕ່ແຫຼ່ງຈົນເຖິງບົດລາຍງານ ເພື່ອໃຫ້ອົງກອນຂອງທ່ານເຫັນຜົນລັບກ່ອນທີ່ຈະຂະຫຍາຍສິ່ງໃດ. ການສ້າງແພລດຟອມໃຫ້ຄົບກ່ອນແລ້ວຈຶ່ງຫາວຽກມາໃສ່ ແມ່ນສາເຫດທີ່ພົບຫຼາຍທີ່ສຸດຂອງການລົ້ມເຫຼວຂອງໂຄງການດ້ານຂໍ້ມູນ.
ເນື້ອຫາທີ່ກ່ຽວຂ້ອງ
ເລີ່ມຈາກຫົວຂໍ້ທຸລະກິດໜຶ່ງ
ພວກເຮົາສ້າງສາຍທໍ່ຂໍ້ມູນຄົບຖ້ວນຕັ້ງແຕ່ແຫຼ່ງຂໍ້ມູນຈົນເຖິງບົດລາຍງານ ສຳລັບຫົວຂໍ້ໜຶ່ງທີ່ມີຄົນລໍຖ້າຕົວເລກຢູ່ແທ້. ອົງກອນຂອງທ່ານເຫັນຜົນລັບກ່ອນ ແລ້ວຈຶ່ງຕັດສິນໃຈວ່າຈະຂະຫຍາຍຫຼືບໍ່.
ໂທ +84 969 45 98 68
ຫຼືສົ່ງອີເມວຫາ [email protected]