ວິທີການປະເມີນບ໋ອດ ARM Cortex-A76 ສຳລັບພາລະກິດ AI ຢູ່ເຂດຕົ້ນ (AI Edge Workloads)?

ເລືອກທີ່ຖືກຕ້ອງ ບ໋ອດ ARM Cortex-A76 ສຳລັບງານ AI ໃນເຂດແຖວ ຕ້ອງການການປະເມີນດ້ານເຕັກນິກຢ່າງລະອຽດ ແລະ ການເຂົ້າໃຈຄວາມຕ້ອງການການນຳໃຊ້ທີ່ເປັນເອກະລັກຂອງທ່ານ. ຮູບແບບບ໋ອດ ARM Cortex-A76 ໄດ້ກາຍເປັນເຄື່ອງຈັກຫຼັກສຳລັບການນຳໃຊ້ AI ໃນເຂດແຖວ, ໂດຍໃຫ້ພະລັງການປະມວນຜົນທີ່ຈຳເປັນສຳລັບການຄຳນວນໃນເວລາຈິງ (real-time inference) ໂດຍຍັງຮັກສາປະສິດທິພາບດ້ານພະລັງງານໄວ້. ຕ່າງຈາກວິທີການ AI ຢູ່ໃນເຄື່ອງເຊີບເວີ (cloud-based AI) ທີ່ເປັນທຳມະດາ, ການນຳໃຊ້ໃນເຂດແຖວຕ້ອງການຮາດແວທີ່ສາມາດສ້າງດຸນດ່ານລະຫວ່າງຄວາມສາມາດໃນການຄຳນວນ ແລະ ຂໍ້ຈຳກັດດ້ານການຈັດການອຸນຫະພູມ ແລະ ການບໍລິໂພກພະລັງງານ.

ເມື່ອທ່ານປະເມີນບ໋ອດ ARM Cortex-A76 ສຳລັບການນຳໃຊ້ AI ຂອງທ່ານ, ທ່ານຈຳເປັນຕ້ອງວິເຄາະຫຼາຍດ້ານທີ່ເກີນຄວາມໄວໃນການປະມວນຜົນເທົ່ານັ້ນ. ຄຸນສົມບັດຂອງຮາດແວທີ່ທ່ານເລືອກຈະມີຜົນກະທົບໂດຍກົງຕໍ່ຄວາມລ່າຊ້າຂອງແບບຈຳລອງ, ຄວາມໄວໃນການປະມວນຜົນ, ແລະ ວ່າທ່ານຈະບັນລຸເປົ້າໝາຍທາງທຸລະກິດຂອງທ່ານໄດ້ຫຼືບໍ່. ງານ AI ທີ່ເຮັດຢູ່ເທິງອຸປະກອນ (Edge AI) ມີຕັ້ງແຕ່ການເບິ່ງເຫັນດ້ວຍຄອມພິວເຕີ (computer vision) ຈົນເຖິງການປະມວນຜົນພາສາທຳມະຊາດ (natural language processing), ແລະ ແຕ່ລະປະເພດຈະມີຄວາມຕ້ອງການທີ່ແຕກຕ່າງກັນຕໍ່ຄວາມໄວໃນການເຂົ້າເຖິງໜ່ວຍຄວາມຈຳ, ຈຳນວນເຄີຣ໌ CPU, ແລະ ຄວາມມີຢູ່ຂອງອຸປະກອນເຮັດວຽກເພີ່ມເຕີມ (accelerator). ການເຂົ້າໃຈຄວາມຕ້ອງການເຫຼົ່ານີ້ຕັ້ງແຕ່ເລີ່ມຕົ້ນຈະຮັບປະກັນວ່າການລົງທຶນຂອງທ່ານໃນບ໋ອດ ARM Cortex-A76 ຈະໃຫ້ຜົນປະໂຫຍດທີ່ວັດແທກໄດ້.

ຄຸນສົມບັດດ້ານປະສິດທິພາບທີ່ສຳຄັນທີ່ຕ້ອງປະເມີນ

ສະຖາປັດຕະຍາການຂອງເຄີຣ໌ CPU ແລະ ຄວາມໄວໃນການເຮັດວຽກ (Clock Speed)

ສະຖາປັດຕະຍາຂອງຊີພີຢູ ຂອງບ໋ອດ ARM Cortex-A76 ກຳນົດປະສິດທິພາບການສົ່ງເສີມເບື້ອງຕົ້ນສຳລັບການນຳໃຊ້ AI ຢູ່ເທິງເວັບ (edge deployment). ບ໋ອດສ່ວນຫຼາຍທີ່ມີເຄື່ອງຈັກ ARM Cortex-A76 ຈະເຮັດວຽກຢູ່ຄວາມເລັກຂອງຄລອກ (clock speed) ລະຫວ່າງ 2.0 ແລະ 2.6 GHz, ໂດຍມີການປ່ຽນແປງໄດ້ຕາມເງື່ອນໄຂຂອງຄວາມຮ້ອນ ແລະ ງົບປະມານດ້ານພະລັງງານ. ເມື່ອທຽບເທົ່າຄຸນສົມບັດ, ຕ້ອງຢືນຢັນຈຳນວນຂອງເຄື່ອງຈັກທີ່ເຮັດວຽກຢູ່ເວລານັ້ນ—ໂດຍທົ່ວໄປຈະຢູ່ລະຫວ່າງ 4 ເຄື່ອງຈັກ (quad-core) ຫຼື 8 ເຄື່ອງຈັກ (octa-core)—ແລະ ຕ້ອງກວດສອບວ່າບ໋ອດນີ້ສາມາດຮອງຮັບການປະມວນຜົນທີ່ແຕກຕ່າງກັນ (heterogeneous processing) ຫຼືບໍ່, ເຊັ່ນ: ການຈັບຄູ່ເຄື່ອງຈັກທີ່ມີປະສິດທິພາບສູງກັບເຄື່ອງຈັກທີ່ມີປະສິດທິພາບດ້ານປະຢັດພະລັງງານ. ການຈັດຕັ້ງເຄື່ອງຈັກດັ່ງກ່າວນີ້ມີຜົນຕໍ່ການບໍລິໂພກພະລັງງານໂດຍກົງເມື່ອເຮັດວຽກດ້ານ AI ໃນໄລຍະເວລາທີ່ຍາວນານ.

ຄວາມໄວຂອງການເຂົ້າເຖິງໜ່ວຍຄວາມຈຳ ແລະ ສະຖາປັດຕະຍາຂອງ cache

ການຈັດຕັ້ງປະຕິບັດຂອງລະບົບຄວາມຈຳມີຜົນກະທົບຢ່າງຫຼວງຫຼາຍຕໍ່ຄວາມໄວໃນການປະມວນຜົນ AI ເປັນພິເສດສຳລັບຮູບແບບທີ່ໃຫຍ່ກວ່າຄວາມຈຳ L3 ທີ່ມີຢູ່. ການຈັດຕັ້ງປະຕິບັດບ໋ອດ ARM Cortex-A76 ໂດຍທົ່ວໄປຈະມີຄວາມຈຳ L3 ຮ່ວມກັນ 4 ຫຼື 8 MB ແລະ ຄວາມຈຳ L2 ຕໍ່ແຕ່ລະເຄື່ອງປະມວນຜົນ. ຄວາມໄວຂອງອິນເຕີເຟດ໌ຄວາມຈຳ LPDDR4 ຫຼື LPDDR5—ທີ່ວັດແທກເປັນ GB/s—ຈະກຳນົດວ່າຮູບແບບ AI ຂອງທ່ານທີ່ຢູ່ເທິງເຂດຈະສາມາດເຂົ້າເຖິງນ້ຳໜັກ (weights) ແລະ ການເປີດກິດຈະກຳ (activations) ໄດ້ໄວເທົ່າໃດ. ຖ້າຄວາມໄວຂອງຄວາມຈຳບໍ່ພຽງພໍ ຈະເກີດເປັນສິ່ງກີດຂວາງຕໍ່ການປະມວນຜົນ ໂດຍເປັນພິເສດສຳລັບການນຳໃຊ້ AI ໃນເຂດທີ່ຕ້ອງເຂົ້າເຖິງຄວາມຈຳຢ່າງເລື້ອຍໆ. ທ່ານຄວນເປີດການປຽບທຽບລາຍລະອຽດຂອງຄວາມຈຳລະຫວ່າງບ໋ອດທີ່ເປັນຕົວເລືອກເພື່ອຊອກຫາການຈັດຕັ້ງປະຕິບັດທີ່ເໝາະສົມກັບຄວາມຕ້ອງການຄວາມໄວຂອງຮູບແບບຂອງທ່ານ.

ຄວາມສາມາດໃນການເຮັງ AI ແລະ ຄວາມພ້ອມສຳລັບການຄຳນວນເທິງເຂດ

ໜ່ວຍປະມວນຜົນເສີນ (Neural Processing Unit) ແລະ ການບູລະນາການເຄື່ອງເຮັງ AI

ການອອກແບບບ໋ອດ ARM Cortex-A76 ທີ່ທັນສະໄໝມັກຈະປະກອບດ້ວຍໆຫົວປະມວນຜົນເຄື່ອງຈັກປັນຍາ (NPU) ຫຼື ອຸປະກອນເລື່ອງຄວາມໄວ (AI accelerator) ເພື່ອປະຕິບັດວຽກງານການສົ່ງຜົນ (inference) ແບບເອງ. ອຸປະກອນເຫຼົ່ານີ້ ເຊິ່ງມັກຈະສະໜັບສະໜູນຮູບແບບໂມເດລ AI ທີ່ຖືກປ່ຽນເປັນຈຳນວນເຕັມ (quantized) ແລະ ຈຳນວນເຕັມ (integer-based) ສາມາດຫຼຸດຜ່ອນຄວາມໜ້ອຍ (latency) ແລະ ການໃຊ້ພະລັງງານໄດ້ຢ່າງຫຼວງຫຼາຍເມື່ອທຽບກັບການປະຕິບັດດ້ວຍ CPU ເທົ່ານັ້ນ. ເມື່ອທ່ານປະເມີນບ໋ອດ AI ຢູ່ທີ່ຈຸດຂອບ (edge AI boards) ທ່ານຄວນກວດສອບປະເພດຂໍ້ມູນທີ່ອຸປະກອນເລື່ອງຄວາມໄວສະໜັບສະໜູນ—ເຊັ່ນ: INT8, INT16, FP16 ຫຼື BF16—ແລະ ດູວ່າມັນເຂົ້າກັນໄດ້ກັບຍຸດທະສາດການປັບປຸງໂມເດລຂອງທ່ານຫຼືບໍ່. ການປຽບທຽບທີ່ດີຄວນເວົ້າເຖິງຂໍ້ມູນຈຳເພາະຂອງອຸປະກອນເລື່ອງຄວາມໄວ ແລະ ກັບໂປຣແກຣມ AI ແລະ ຮູບແບບໂມເດລທີ່ການນຳໃຊ້ຂອງທ່ານຕ້ອງການ.

ການສະໜັບສະໜູນຊອບແວ ແລະ ຄວາມເຂົ້າກັນໄດ້ກັບໂປຣແກຣມ AI

ຄຸນຄ່າຂອງບ໋ອດ ARM Cortex-A76 ສຳລັບການຕິດຕັ້ງ AI ໃນເຂດແຖວ (edge) ຂຶ້ນກັບເຄື່ອງມືຊອບແວ ແລະ ການສະໜັບສະໜູນຂອງໂຟລະແວຟຣາມທີ່ມີຢູ່ຢ່າງຫຼາຍ. ກະລຸນາຢືນຢັນວ່າຜູ້ສະເໜີທີ່ເປັນໄປໄດ້ສະໜັບສະໜູນ TensorFlow Lite, ONNX Runtime, ຫຼື ໂຟລະແວຟຣາມ AI ໃນເຂດແຖວອື່ນໆທີ່ກ່ຽວຂ້ອງກັບຂະບວນການພັດທະນາຂອງທ່ານ. ຕົວເລືອກລະບົບປະຕິບັດ—ເຊັ່ນ: Linux, Android, ຫຼື ລະບົບປະຕິບັດທີ່ເຮັດວຽກໃນເວລາຈິງ (real-time)—ຈະມີຜົນຕໍ່ຄວາມສັບສົນໃນການຕິດຕັ້ງ ແລະ ຄວາມສາມາດໃນການເຂົ້າເຖິງຄຸນສົມບັດຕ່າງໆ. ນອກຈາກນີ້, ກະລຸນາກວດສອບວ່າຜູ້ຜະລິດມີໃຫ້ຫ້ອງສະມຸດທີ່ຖືກເຮັດໃຫ້ມີປະສິດທິພາບສຳລັບການນຳໃຊ້, ເອກະສານສຳລັບນັກພັດທະນາ, ແລະ ຕົວຢ່າງການນຳໃຊ້ທີ່ອ້າງອີງສຳລັບການນຳໃຊ້ AI ທີ່ຄົນເຮັດເລື້ອຍໆຫຼື ບໍ່. ການສະໜັບສະໜູນທີ່ເຂັ້ມແຂງຈາກສິ່ງແວດລ້ອມຊອບແວຈະຊ່ວຍຫຼຸດເວລາທີ່ໃຊ້ໃນການຕິດຕັ້ງ ແລະ ສະດວກສຳລັບການຍ້າຍແບບຈຳລອງ (model porting) ລະຫວ່າງອຸປະກອນທີ່ແຕກຕ່າງກັນ.

ການຈັດການອຸນຫະພູມ ແລະ ການພິຈາລະນາດ້ານພະລັງງານສຳລັບການເຮັດວຽກຢ່າງຕໍ່ເນື່ອງ

ພະລັງງານອຸນຫະພູມທີ່ອອກແບບ (Thermal Design Power) ແລະ ວິທີແກ້ໄຂການລະບາຍຄວາມຮ້ອນທີ່ເຮັດວຽກດ້ວຍຕົວເອງ (Active Cooling Solutions)

ການກຳນົດຂອບເຂດການອອກແບບດ້ານຄວາມຮ້ອນ ສະແດງເຖິງປະລິມານສູງສຸດຂອງຄວາມຮ້ອນທີ່ຖືກຂັບໄລ່ອອກໃນເວລາທີ່ປະຕິບັດພາລະກິດປັນຍາປະດິດສ້າງ (AI) ໃນລະດັບສູງສຸດ. ການຈັດຕັ້ງປະຕິບັດບໍດ ARM Cortex-A76 ໂດຍທົ່ວໄປຈະມີຄ່າການອອກແບບດ້ານຄວາມຮ້ອນຢູ່ລະຫວ່າງ 5 ແລະ 15 ແວດ, ເຊິ່ງແຕກຕ່າງກັນໄປຕາມຈຳນວນເຄື່ອງແລະຄວາມຖີ່ຂອງໂຄງການ. ໃນສະຖານະການນຳໃຊ້ທີ່ເກີດຂື້ນຢູ່ເຂດປາກທາງ (edge deployment) ທີ່ຕ້ອງການການເຮັດວຽກຢ່າງຕໍ່ເນື່ອງ—ເຊັ່ນ: ລະບົບການຕິດຕາມໃນອຸດສາຫະກຳ ຫຼື ລະບົບການສັງເກດການ—ການຮັກສາປະສິດທິພາບດ້ານຄວາມຮ້ອນໃນໄລຍະຍາວຈຶ່ງເປັນສິ່ງທີ່ສຳຄັນຫຼາຍ. ຕ້ອງປະເມີນວ່າບໍດດັ່ງກ່າວມີເຄື່ອງລະບາຍຄວາມຮ້ອນແບບບໍ່ມີພາກສ່ວນຂັບເຄື່ອນ (passive heatsinks), ພັດลมທີ່ເຮັດວຽກດ້ວຍພະລັງງານ (active fans), ຫຼື ທັງສອງຢ່າງ, ແລະ ຕ້ອງກວດສອບວ່າມີການຫຼຸດຜ່ອນຄວາມເຂັ້ມຂັ້ນຂອງການປະມວນຜົນ (thermal throttling) ເກີດຂື້ນຫຼືບໍ່ເມື່ອປະຕິບັດພາລະກິດ AI ຢູ່ເຂດປາກທາງຢ່າງຕໍ່ເນື່ອງ. ການປຽບທຽບຢ່າງລະອຽດເຖິງຄວາມສາມາດດ້ານການລະບາຍຄວາມຮ້ອນຈະຊ່ວຍໃຫ້ທ່ານເລືອກບໍດທີ່ເໝາະສົມ ເພື່ອຮັກສາປະສິດທິພາບໃນລະດັບທີ່ເໝືອນກັນ ໂດຍບໍ່ເກີດການຫຼຸດຜ່ອນປະສິດທິພາບອັນເນື່ອງມາຈາກຄວາມຮ້ອນ.

ຮູບແບບການບໍລິໂພກພະລັງງານ ແລະ ຜົນກະທົບຕໍ່ອາຍຸການໃຊ້ງານຂອງຖ່ານ

ການຕິດຕັ້ງ AI ທີ່ຂັບເຄື່ອນດ້ວຍຖ່ານໄຟໃນເຂດທີ່ຢູ່ຫ່າງໄກ ຕ້ອງມີການປະເມີນການບໍລິໂພກພະລັງງານຢ່າງລະອຽດໃນສະຖານະການທີ່ຢູ່ນິ້ງ, ກຳລັງເຮັດວຽກ, ແລະ ມີພະລັງງານສູງສຸດ. ຂໍ້ມູນຈຳລອງຂອງບ໋ອດ ARM Cortex-A76 ຄວນລະບຸການດຶງດູດພະລັງງານໃນສະຖານະການຕ່າງໆ—ເຊັ່ນ: ສະຖານະການຢູ່ນິ້ງ, ການສົ່ງຜົນ AI ໃນປົກກະຕິ, ແລະ ພະລັງງານສູງສຸດ. ລະບົບ AI ໃນເຂດທີ່ຢູ່ຫ່າງໄກຈຳນວນຫຼາຍໄດ້ຮັບປະໂຫຍດຈາກການປັບແຕ່ງຄວາມຕຶງແລະຄວາມຖີ່ຢ່າງເປັນໄປໄດ້ (DVFS) ເພື່ອຮັກສາດຸນດີລະຫວ່າງປະສິດທິພາບກັບການບໍລິໂພກພະລັງງານ. ການປຽບທຽບຮູບແບບການບໍລິໂພກພະລັງງານຊ່ວຍໃຫ້ເຫັນບ໋ອດທີ່ມີປະສິດທິພາບດ້ານພະລັງງານໃນເວລາເຮັດວຽກດີທີ່ສຸດສຳລັບຮູບແບບການໃຊ້ງານຂອງທ່ານ. ພິຈາລະນາວ່າສະຖານະການນອນ (sleep states) ແລະ ການຕັດພະລັງງານອຸປະກອນຕ່າງໆ (peripheral power gating) ສອດຄ່ອງກັບຮູບແບບການເຮັດວຽກຂອງທ່ານຫຼືບໍ່, ໂດຍເປັນພິເສດສຳລັບການຕິດຕັ້ງ AI ໃນເຂດທີ່ຢູ່ຫ່າງໄກທີ່ຕ້ອງການການເຮັດວຽກດ້ວຍຖ່ານໄຟຢ່າງເອກະລາດ.

ການບູລະນາການດ້ານຮ່າງກາຍ ແລະ ຄວາມແຂງແຮງຕໍ່ສິ່ງແວດລ້ອມ

ຮູບຮ່າງ ແລະ ຄວາມພ້ອມຂອງສະຖານີເຊື່ອມຕໍ່

ຮูບແບບທາງກາຍະພາບຂອງບ໋ອດ ARM Cortex-A76 ຂອງທ່ານ ກຳນົດຄວາມເປັນໄປໄດ້ໃນການຕິດຕັ້ງໃນສະພາບແວດລ້ອມການນຳໃຊ້ທີ່ຢູ່ເທິງຂອບ (edge deployment environments). ຮູບແບບທີ່ມີຂະໜາດນ້ອຍຈະຊ່ວຍໃຫ້ຕິດຕັ້ງໄດ້ງ່າຍໃນບ່ອນທີ່ມີພື້ນທີ່ຈຳກັດ ເຊັ່ນ: ອຸປະກອນການຜະລິດ ຫຼື ຈຸດເຊັນເຊີທີ່ຢູ່ຫ່າງໄກ. ການປະເມີນຄວາມເຂົ້າກັນໄດ້ຂອງສະຖານີເຊື່ອມຕໍ່ທີ່ມີຢູ່—ເຊັ່ນ: PCIe, USB, Ethernet, ແລະ ສະຖານີເຊື່ອມຕໍ່ກ້ອງ—ເພື່ອໃຫ້ແນ່ໃຈວ່າມີຄວາມເຂົ້າກັນໄດ້ກັບອຸປະກອນ AI ແລະ ເຊັນເຊີທີ່ຢູ່ເທິງຂອບ (edge AI peripherals and sensors) ຂອງທ່ານ. ການເປີຽບเทີບຮູບແບບທາງກາຍະພາບ ແລະ ຕົວເລືອກ I/O ຈະຊ່ວຍໃຫ້ທ່ານເລືອກບ໋ອດທີ່ເໝາະສົມຕາມຄວາມຕ້ອງການທາງດ້ານຮ່າງກາຍ ແລະ ການຈັດສົ່ງ ໂດຍບໍ່ຈຳເປັນຕ້ອງປັບແຕ່ງເພີ່ມເຕີມ ຫຼື ໃຊ້ອຸປະກອນເຊື່ອມຕໍ່ພາຍນອກ.

ມາດຕະຖານການຈັດອັນດັບດ້ານສິ່ງແວດລ້ອມ ແລະ ມາດຕະຖານຄວາມເຊື່ອຖືໄດ້

ການຕິດຕັ້ງ AI ທີ່ເຮັດວຽກຢູ່ບໍລິເວນແຄມທາງອຸດສາຫະກຳ ແມ່ນມັກຈະຕ້ອງການອຸປະກອນທີ່ສອດຄ່ອງກັບມາດຕະຖານສິ່ງແວດລ້ອມທີ່ກຳນົດໄວ້ເປັນພິເສດ. ກະລຸນາຢືນຢັນຊ່ວງອຸນຫະພູມການເຮັດວຽກ, ຄວາມຕ້ານທານຕໍ່ຄວາມຊື້ນ, ແລະ ຄວາມຕ້ານທານຕໍ່ການສັ່ນສະເທືອນ ສຳລັບບໍລິບົດການຕິດຕັ້ງຂອງທ່ານ. ຜູ້ຜະລິດບ໋ອດ ARM Cortex-A76 ມັກຈະໃຫ້ເອກະສານກ່ຽວກັບຄວາມສອດຄ່ອງດ້ານສິ່ງແວດລ້ອມ ເຊິ່ງຢືນຢັນຄວາມເໝາະສົມສຳລັບການນຳໃຊ້ໃນດ້ານອຸດສາຫະກຳ, ລົດຍົນ ຫຼື ການນຳໃຊ້ທີ່ຝັງຢູ່. ການເປີຽບທຽບອັດຕາຄວາມເຊື່ອຖືໄດ້ ແລະ ເວລາສະເລ່ຍທີ່ເກີດຄວາມລົ້ມເຫຼວ (MTBF) ຈະຊ່ວຍໃນການປະເມີນຄວາມສະຖຽນຂອງການເຮັດວຽກໃນໄລຍະຍາວ ແລະ ຄາດໝາຍກ່ຽວກັບການສະໜັບສະໜູນ.

ຖາມບ່ອຍໆ

ປະເພດໂມເດລ AI ໃດທີ່ປະສົບຜົນສຳເລັດດີທີ່ສຸດເມື່ອໃຊ້ກັບບ໋ອດ ARM Cortex-A76?

ຈຸດເດັ່ນຂອງແບບຈຳລອງການຮຽນຮູ້ເລິກທີ່ຖືກປັບຂະຫນາດ (Quantized deep learning models), ໂດຍສະເພາະເຄືອຂ່າຍປະມວນຜົນທາງເສັ້ນ (convolutional neural networks) ສຳລັບວຽກງານທີ່ກ່ຽວຂ້ອງກັບການເບິ່ງເຫັນດ້ວຍຄອມພິວເຕີ (computer vision tasks), ແມ່ນສະແດງໃຫ້ເຫັນເຖິງປະສິດທິພາບທີ່ດີເລີດເມື່ອເຮັດວຽກຢູ່ເທິງໂປເຊສເຊີ (architectures) ARM Cortex-A76. ແບບຈຳລອງທີ່ມີນ້ຳໜັກເບົາ (Lightweight model architectures) ເຊັ່ນ: MobileNet, SqueezeNet, ແລະ ຮູບແບບຕ່າງໆຂອງ YOLO ໄດ້ຖືກອອກແບບເພື່ອເຮັດວຽກໄດ້ດີເລີດເທິງບໍດ (boards) ARM Cortex-A76 ໂດຍສະເພາະ, ເຊິ່ງບັນລຸເຖິງຄວາມໄວໃນການປະມວນຜົນ (inference latency) ທີ່ດີເລີດສຳລັບການນຳໃຊ້ AI ຢູ່ເທິງເວັບ (edge AI applications). ເມື່ອທ່ານກຳລັງວາງແຜນວຽກງານ AI ຢູ່ເທິງເວັບ (AI edge workload), ທ່ານຄວນໃຫ້ຄວາມສຳຄັນກັບການເລືອກແບບຈຳລອງ (model architectures) ແລະ ວິທີການປັບຂະຫນາດ (quantization strategies) ທີ່ໄດ້ຮັບການຢືນຢັນວ່າເຂົ້າກັນໄດ້ດີກັບຂໍ້ກຳນົດ (specifications) ແລະ ຄວາມສາມາດຂອງຕົວເร่ง (accelerator capabilities) ຂອງ ARM Cortex-A76.

ຂ້ອຍຈະປຽບທຽບຂໍ້ກຳນົດຂອງບໍດ ARM Cortex-A76 ຈາກຜູ້ສະເໜີບໍລິການທີ່ແຕກຕ່າງກັນໄດ້ແນວໃດ?

ການປຽບທຽບບ໋ອດທີ່ມີປະສິດທິພາບເລີ່ມຕົ້ນດ້ວຍການບັນທຶກສະເພກເຕີເຟີກເຄື່ອງທີ່ຖືກປັບໃຫ້ເປັນມາດຕະຖານ ລວມທັງ ຈຳນວນເຄື່ອງແທັກ (CPU cores), ຄວາມໄວຂອງໂຄງການ (clock speed), ຄວາມໄວໃນການເຂົ້າເຖິງໜ່ວຍຄວາມຈຳ (memory bandwidth), ຄວາມສາມາດຂອງອຸປະກອນເຮັງ (accelerator capabilities), ການບໍລິໂພກພະລັງງານ (power consumption), ແລະ ລັກສະນະດ້ານອຸນຫະພູມ (thermal characteristics). ສ້າງຕາຕະລາງປຽບທຽບຢ່າງລະອຽດ ໂດຍລິເລີ່ມຈາກສະເພກເຕີເຟີກເຫຼົ່ານີ້ ແລ້ວຈັດຕັ້ງປະຕິບັດການທົດສອບ (benchmark) ບ໋ອດທີ່ເປັນຜູ້ສະເໜີ ໂດຍໃຊ້ໂປຣແກຣມທົດສອບ AI inference ທີ່ສອດຄ່ອງກັບສະຖານະການການນຳໃຊ້ຈິງຂອງທ່ານ. ວິທີການປຽບທຽບທີ່ເປັນຮູບປະທຳນີ້ຈະເປີດເຜີຍຄວາມແຕກຕ່າງດ້ານປະສິດທິພາບໃນການນຳໃຊ້ຈິງ ທີ່ສະເພກເຕີເຟີກດິບໆ ຈະບໍ່ສາມາດສະແດງໃຫ້ເຫັນໄດ້, ເຊິ່ງຈະຊ່ວຍໃຫ້ທ່ານເລືອກບ໋ອດ ARM Cortex-A76 ທີ່ເໝາະສົມທີ່ສຸດສຳລັບຄວາມຕ້ອງການ AI ຢູ່ທີ່ຈຸດປາຍ (edge AI) ຂອງທ່ານ.

ບ໋ອດ ARM Cortex-A76 ສາມາດຮອງຮັບຮູບແບບ AI ໃດໆຫຼາຍຮູບແບບໃນເວລາດຽວກັນໄດ້ຫຼືບໍ່?

ການຕິດຕັ້ງຫຼາຍຮູບແບບເປັນໄປໄດ້ຂື້ນກັບຄວາມຈຸ່ມຂອງໜ່ວຍຄວາມຈຳ, ຄວາມສາມາດຂອງໂປເຊສເຊີ, ແລະ ຄວາມສາມາດຂອງໂປຣແກຣມທີ່ໃຊ້ໃນບ໋ອດ ARM Cortex-A76 ຂອງທ່ານ. ຖ້າມີ DRAM ແລະ ແຮງງານປະມວນຜົນທີ່ແຕກຕ່າງກັນພໍ, ບ໋ອດ AI ທີ່ຢູ່ເທິງເຂດຂອງທ່ານສາມາດປະມວນຜົນທັງໝົດໄດ້ພ້ອມກັນ, ແຕ່ເວລາທີ່ໃຊ້ໃນການປະມວນຜົນ (latency) ແລະ ອັດຕາການປະມວນຜົນ (throughput) ຈະແຕກຕ່າງກັນໄປຕາມຄວາມສັບສົນຂອງແຕ່ລະຮູບແບບ. ກະລຸນາປະເມີນຄວາມຈຸ່ມຂອງໜ່ວຍຄວາມຈຳທີ່ແຕ່ລະຮູບແບບຕ້ອງການ ແລະ ຮູບແບບການໃຊ້ງານ CPU ໃນເວລາທີ່ທ່ານປະມວນຜົນ AI ເທິງເຂດ (AI edge workloads) ເພື່ອກຳນົດສະຖານະການທີ່ເປັນໄປໄດ້ໃນການຕິດຕັ້ງຫຼາຍຮູບແບບພ້ອມກັນໃນບ໋ອດທີ່ທ່ານເລືອກ.