ໂມດູນພິເສດສີ່ໂມດູນຮ່ວມມືກັນໃນຮູບແບບ MiCRo ໃໝ່, ເຊິ່ງຖືກອອກແບບມາເພື່ອເຮັດໃຫ້ຂະບວນການຕັດສິນໃຈສາມາດອ່ານ ແລະ ຄວບຄຸມໄດ້ງ່າຍຂຶ້ນ.

ໃນຊຸມປີມໍ່ໆມານີ້ i ຮູບແບບພາສາຂະໜາດໃຫຍ່ ຫຼື LLM ໄດ້ປ່ຽນແປງຢ່າງເລິກເຊິ່ງຕໍ່ສາຍພົວພັນລະຫວ່າງມະນຸດ ແລະ ລະບົບຂອງ ປັນຍາປະດິດຈາກການສ້າງຂໍ້ຄວາມຈົນເຖິງການຂຽນໂປຣແກຣມຊອບແວ, ລວມທັງການແປພາສາດ້ວຍເຄື່ອງຈັກ, ການວິເຄາະເອກະສານ, ແລະ ການສະໜັບສະໜູນການຄົ້ນຄວ້າທາງວິທະຍາສາດ, ເຄືອຂ່າຍປະສາດເຫຼົ່ານີ້ໄດ້ບັນລຸລະດັບຄວາມຖືກຕ້ອງທີ່ບໍ່ເຄີຍຄິດມາກ່ອນໃນສອງສາມປີກ່ອນ. ຢ່າງໃດກໍຕາມ, ຄວາມນິຍົມທີ່ເພີ່ມຂຶ້ນຂອງພວກມັນໄດ້ເຮັດໃຫ້ເກີດຄຳຖາມທີ່ແຜ່ລາມໄປທົ່ວການໂຕ້ວາທີທາງວິທະຍາສາດສ່ວນໃຫຍ່ແລ້ວ: ມັນເປັນໄປໄດ້ບໍທີ່ຈະເຂົ້າໃຈຢ່າງແທ້ຈິງວ່າລະບົບເຫຼົ່ານີ້ບັນລຸຜົນສະຫຼຸບທີ່ພວກມັນຜະລິດອອກມາໄດ້ແນວໃດ?

ຄຳຖາມນີ້ບໍ່ແມ່ນທາງວິຊາການຢ່າງດຽວ. ໃນຂົງເຂດຕ່າງໆເຊັ່ນ: ການແພດ, ການເງິນ, ຄວາມຍຸຕິທຳ, ຫຼື ການອອກແບບອຸດສາຫະກຳ, ການຮູ້ວ່າເປັນຫຍັງອັລກໍຣິທຶມຈຶ່ງສ້າງຄຳຕອບສະເພາະໃດໜຶ່ງສາມາດມີຄວາມສຳຄັນເທົ່າກັບຄຳຕອບນັ້ນເອງ. ຢ່າງໃດກໍຕາມ, ຮູບແບບສ່ວນໃຫຍ່ທີ່ມີຢູ່ໃນປະຈຸບັນຍັງຄົງປະຕິບັດຄືກັບ "ກ່ອງສີດໍາ"ຜົນໄດ້ຮັບແມ່ນເຫັນໄດ້ຊັດເຈນ, ໃນຂະນະທີ່ເສັ້ນທາງການຄິດໄລ່ທີ່ຕິດຕາມມາດ້ວຍເຄືອຂ່າຍປະສາດຍັງຄົງບໍ່ຊັດເຈນເຖິງແມ່ນວ່ານັກພັດທະນາຂອງມັນກໍຕາມ.

ມັນຢູ່ໃນຂອບເຂດຈຳກັດນີ້ຢ່າງແນ່ນອນທີ່ການຄົ້ນຄວ້າແຊກແຊງÉcole Polytechnique Fédérale de Lausanne (EPFL), ໃນ ສະຫວິດເຊີແລນກຸ່ມນັກວິຊາການໄດ້ພັດທະນາ MiCRo, ຕົວຫຍໍ້ຂອງ ການປະສົມປະສານຂອງນັກຄິດຄົ້ນທາງດ້ານສະຕິປັນຍາ, ສະຖາປັດຕະຍະກຳແບບໂມດູນໂດຍອີງໃສ່ Transformers ແລະ ຖືກອອກແບບມາເພື່ອກະຕຸ້ນຄວາມຊ່ຽວຊານດ້ານໜ້າທີ່ລະຫວ່າງອົງປະກອບຕ່າງໆຂອງຮູບແບບ.

MiCRo ບໍ່ໄດ້ພະຍາຍາມທີ່ຈະສ້າງໂຄງສ້າງທາງຊີວະພາບຂອງສະໝອງມະນຸດຄືນໃໝ່ຢ່າງຊື່ສັດ, ແລະ ມັນບໍ່ໄດ້ສະແດງໃຫ້ເຫັນວ່າເຄືອຂ່າຍປະສາດທຽມຄິດຄືກັບມະນຸດ. ແທນທີ່ຈະ, ມັນອີງໃສ່ຫຼັກການທົ່ວໄປທີ່ສັງເກດເຫັນໃນວິທະຍາສາດປະສາດສະຕິປັນຍາ: ສະຕິປັນຍາຂອງມະນຸດບໍ່ໄດ້ຂຶ້ນກັບພື້ນທີ່ດຽວທີ່ບໍ່ຊັດເຈນ, ແຕ່ຂຶ້ນກັບການພົວພັນລະຫວ່າງເຄືອຂ່າຍທີ່ມີຄວາມຊ່ຽວຊານໃນໜ້າທີ່ຕ່າງໆ, ເຊັ່ນ: ພາສາ, ເຫດຜົນທາງເຫດຜົນ, ຄວາມເຂົ້າໃຈທາງສັງຄົມ, ແລະ ການຄົ້ນຫາຄວາມຮູ້.

ໂຄງການດັ່ງກ່າວເກີດມາຈາກການພົບປະລະຫວ່າງພາສາສາດຄອມພິວເຕີ, ການຮຽນຮູ້ເຄື່ອງຈັກ ແລະ ວິທະຍາສາດປະສາດ. ຜູ້ຂຽນແມ່ນ ບາດຣ໌ ອາລ-ຄາມິສຊີ, ນິໂຄລັສ ເດີ ຊັບບາຕາ, ເກຣຕາ ທັກຄຸດ, Zeming Chen, ມາຕິນ ຊຣິມພ໌ e Antoine Bosselut, ໂດຍມີສາຂາຢູ່ EPFL, ສະຖາບັນເຕັກໂນໂລຊີ Massachusetts, ແລະ ມະຫາວິທະຍາໄລ Harvard. ຜົນງານດັ່ງກ່າວໄດ້ຖືກລວມເຂົ້າໃນສະບັບທີສິບສີ່ຂອງກອງປະຊຸມສາກົນກ່ຽວກັບການເປັນຕົວແທນຂອງການຮຽນຮູ້, ກຳນົດໄວ້ໃນປີ 2026.

“ຜູ້ຊ່ຽວຊານ” ດ້ານສະຕິປັນຍາສີ່ຄົນພາຍໃນຮູບແບບ Transformer

ລັກສະນະທີ່ໂດດເດັ່ນຂອງ MiCRo ແມ່ນມັນແບ່ງຊັ້ນຕ່າງໆຂອງຮູບແບບພາສາທີ່ໄດ້ຮັບການຝຶກອົບຮົມລ່ວງໜ້າອອກເປັນ ສີ່ໂມດູນຜູ້ຊ່ຽວຊານ, ທີ່ກ່ຽວຂ້ອງກັບໜ້າທີ່ການຮັບຮູ້ຫຼາຍຢ່າງ. ສິ່ງເຫຼົ່ານີ້ບໍ່ແມ່ນລະບົບອິດສະຫຼະສີ່ລະບົບທີ່ປຶກສາຫາລືກັນ, ແຕ່ເປັນອົງປະກອບພິເສດທີ່ປະສົມປະສານເຂົ້າໃນສະຖາປັດຕະຍະກຳ Transformer ດຽວກັນ.

ໂມດູນທຳອິດແມ່ນອຸທິດໃຫ້ກັບ ພາສາ ແລະ ສ່ວນໃຫຍ່ແມ່ນມີສ່ວນຮ່ວມໃນການພັດທະນາໂຄງສ້າງພາສາ. ອັນທີສອງແມ່ນກ່ຽວຂ້ອງກັບ logica, ການແກ້ໄຂບັນຫາ ແລະ ການຫາເຫດຜົນແບບບໍ່ມີຕົວຕົນ. ອັນທີສາມກ່ຽວຂ້ອງກັບ ຄວາມຮູ້ທາງສັງຄົມ, ນັ້ນຄື, ຄວາມສາມາດໃນການຕີຄວາມໝາຍຄວາມຕັ້ງໃຈ, ອາລົມ, ຄວາມສຳພັນລະຫວ່າງບຸກຄົນ ແລະ ຮູບແບບຂອງການສື່ສານໂດຍທາງອ້ອມ. ອັນທີສີ່ປະສົມປະສານ ຄວາມຮູ້ຂອງໂລກ, ເຊື່ອມຕໍ່ຂໍ້ມູນ, ຄວາມຊົງຈຳ ແລະ ລຳດັບການເລົ່າເລື່ອງທີ່ກະຈາຍໄປຕາມການເວລາ.

ໂມດູນສຸດທ້າຍນີ້ໄດ້ຮັບແຮງບັນດານໃຈຈາກສິ່ງທີ່ເອີ້ນວ່າ "ເຄືອຂ່າຍຮູບແບບເລີ່ມຕົ້ນ", ເຄືອຂ່າຍສະໝອງທີ່ໄດ້ສຶກສາກ່ຽວກັບການມີສ່ວນຮ່ວມໃນການດຶງເອົາຄວາມຊົງຈຳ, ການສ້າງການນຳສະເໜີເລື່ອງລາວ, ແລະ ຈິນຕະນາການຂອງເຫດການໃນອະນາຄົດ. ເອກະສານອ້າງອີງນີ້ບໍ່ໄດ້ໝາຍຄວາມວ່າໂມດູນທຽມສ້າງກົນໄກທາງຊີວະພາບຂອງຈິດໃຈຄືນໃໝ່, ແຕ່ແທນທີ່ຈະເປັນການກຳນົດປະເພດຂອງໜ້າທີ່ທີ່ນັກຄົ້ນຄວ້າພະຍາຍາມກະຕຸ້ນໃນລະຫວ່າງການຝຶກອົບຮົມ.

ເມື່ອປຽບທຽບກັບຮູບແບບ Transformer ທີ່ໜາແໜ້ນ, ເຊິ່ງບລັອກດຽວກັນມີສ່ວນຮ່ວມຢ່າງບໍ່ຈຳແນກໃນການປະມວນຜົນປະເພດຕ່າງໆ, MiCRo ແນະນຳຮູບແບບການຈັດລະບຽບພາຍໃນທີ່ອ່ານງ່າຍກວ່າ. ສະເພາະ router ຕັດສິນໃຈວ່າຈະມອບໝາຍໂທເຄັນໃຫ້ຜູ້ຊ່ຽວຊານຄົນໃດໃນຂັ້ນຕອນການປະມວນຜົນທີ່ແຕກຕ່າງກັນ, ໂດຍເລືອກອົງປະກອບທີ່ຖືວ່າກ່ຽວຂ້ອງກັບຄຳຮ້ອງຂໍທີ່ໄດ້ຮັບຫຼາຍທີ່ສຸດ.

ວິທີການດັ່ງກ່າວມີຄວາມຄ້າຍຄືກັນບາງຢ່າງກັບສະຖາປັດຕະຍະກຳ "Mixture of Experts", ເຊິ່ງຖືກນຳໃຊ້ແລ້ວເພື່ອແຈກຢາຍການຄິດໄລ່ໃນທົ່ວໂມດູນຕ່າງໆ. ຢ່າງໃດກໍຕາມ, ໃນກໍລະນີຂອງ MiCRo, ໂມດູນບໍ່ພຽງແຕ່ຖືກຄິດເຖິງເປັນເຄື່ອງມືໃນການເພີ່ມປະສິດທິພາບເທົ່ານັ້ນ, ແຕ່ຍັງເປັນວິທີການກະຕຸ້ນຄວາມຊ່ຽວຊານດ້ານໜ້າທີ່ທີ່ສາມາດຮັບຮູ້ໄດ້ ແລະ ວິເຄາະການປະກອບສ່ວນຂອງພວກມັນຕໍ່ວິທີແກ້ໄຂສຸດທ້າຍ.

ສາມໄລຍະການຝຶກອົບຮົມເພື່ອນຳພາໂມດູນ "ຜູ້ຊ່ຽວຊານ" ຫຼາຍຂຶ້ນ

ຂະບວນການຝຶກອົບຮົມເກີດຂຶ້ນໃນສາມໄລຍະ. ໃນເບື້ອງຕົ້ນ, ມີພຽງແຕ່ຜູ້ຊ່ຽວຊານເທົ່ານັ້ນທີ່ໄດ້ຮັບການຝຶກອົບຮົມໂດຍໃຊ້ຊຸດຂໍ້ມູນທີ່ເລືອກ, ໂດຍໃຫ້ແຕ່ລະໂມດູນມີທິດທາງການເຮັດວຽກເບື້ອງຕົ້ນ. ຫຼັງຈາກນັ້ນ, ສະຖາປັດຕະຍະກຳສ່ວນທີ່ເຫຼືອຈະຖືກຢຸດຊົ່ວຄາວ ແລະ ເຣົາເຕີໄດ້ຮັບການຝຶກອົບຮົມໃຫ້ຮຽນຮູ້ທີ່ຈະເລືອກຜູ້ຊ່ຽວຊານທີ່ກ່ຽວຂ້ອງທີ່ສຸດ. ໃນໄລຍະທີສາມ, ລະບົບທັງໝົດຈະຖືກປັບປຸງຮ່ວມກັນໂດຍໃຊ້ຊຸດຄຳສັ່ງທີ່ໃຫຍ່ກວ່າ.

ຂັ້ນຕອນນີ້ມີຈຸດປະສົງເພື່ອປ້ອງກັນບໍ່ໃຫ້ຊື່ໂມດູນກາຍເປັນພຽງປ້າຍຊື່. ເພື່ອໃຫ້ສະຖາປັດຕະຍະກຳມີຄວາມໝາຍຢ່າງແທ້ຈິງ, ການຮ້ອງຂໍທີ່ແຕກຕ່າງກັນຕ້ອງເປີດໃຊ້ອົງປະກອບທີ່ແຕກຕ່າງກັນໃນລັກສະນະທີ່ສອດຄ່ອງກັບຄວາມຊ່ຽວຊານທີ່ຕັ້ງໃຈໄວ້.

ການກຳນົດເສັ້ນທາງ, ການລົບລ້າງ ແລະ ມາດຕະຖານຢືນຢັນຄວາມຊ່ຽວຊານ

ການວິເຄາະຂອງນັກຄົ້ນຄວ້າຊີ້ໃຫ້ເຫັນວ່າ MiCRo ພັດທະນາເສັ້ນທາງການກຳນົດເສັ້ນທາງທີ່ສອດຄ່ອງກັບໜ້າວຽກທີ່ໄດ້ຮັບມອບໝາຍໃຫ້ຜູ້ຊ່ຽວຊານທັງສີ່ຄົນ. ບັນຫາທາງຄະນິດສາດສ່ວນໃຫຍ່ແມ່ນແກ້ໄຂໄປຫາໂມດູນເຫດຜົນ, ໃນຂະນະທີ່ໜ້າວຽກທີ່ກ່ຽວຂ້ອງກັບການເຂົ້າໃຈເຈດຕະນາ ແລະ ຄວາມສຳພັນລະຫວ່າງຄົນເຮັດໃຫ້ຜູ້ຊ່ຽວຊານດ້ານສັງຄົມມີສ່ວນຮ່ວມຫຼາຍຂຶ້ນ.

ໃນທາງກົງກັນຂ້າມ, ໂມດູນພາສາສາດມັກຈະຖືກເປີດໃຊ້ເລື້ອຍໆໃນຊັ້ນເບື້ອງຕົ້ນຂອງຮູບແບບ. ພຶດຕິກຳນີ້ເຂົ້າກັນໄດ້ກັບລັກສະນະທາງຂວາງຂອງພາສາ, ເຊິ່ງຈຳເປັນໃນການຕີຄວາມຄຳຮ້ອງຂໍກ່ອນທີ່ອົງປະກອບອື່ນໆຈະສາມາດແຊກແຊງດ້ານເຫດຜົນ, ສັງຄົມ, ຫຼື ຄວາມຮູ້ໂລກ.

ເພື່ອກວດສອບວ່າຜູ້ຊ່ຽວຊານໄດ້ຮັບບົດບາດທີ່ແຕກຕ່າງກັນຢ່າງຈະແຈ້ງ, ກຸ່ມດັ່ງກ່າວບໍ່ໄດ້ຈຳກັດຕົນເອງພຽງແຕ່ການສັງເກດການແຈກຢາຍຂອງໂທເຄັນເທົ່ານັ້ນ. ມັນຍັງໄດ້ດຳເນີນການທົດສອບ ablazione, ເຕັກນິກການທົດລອງທີ່ປະກອບດ້ວຍການປິດການໃຊ້ງານອົງປະກອບຂອງລະບົບເພື່ອວັດແທກວ່າປະສິດທິພາບໂດຍລວມປ່ຽນແປງແນວໃດ.

ການປົດຜູ້ຊ່ຽວຊານດ້ານເຫດຜົນອອກເຮັດໃຫ້ເກີດການຊຸດໂຊມລົງຢ່າງຫຼວງຫຼາຍໃນມາດຕະຖານຄະນິດສາດ MATH e GSM8Kການຍົກເວັ້ນໂມດູນສັງຄົມອາດຈະນໍາໄປສູ່ການປັບປຸງເລັກນ້ອຍໃນການທົດສອບຕົວເລກຢ່າງດຽວ, ເພາະມັນລົບລ້າງການປະກອບສ່ວນຂອງອົງປະກອບທີ່ບໍ່ກ່ຽວຂ້ອງກັບໜ້າວຽກໃນປະຈຸບັນ.

ສຳລັບການທົດສອບທີ່ແຕກຕ່າງກັນຫຼາຍຂຶ້ນ, ເຊັ່ນວ່າການທົດສອບທີ່ລວມຢູ່ໃນມາດຕະຖານ MMLU e ບີບີ, ການແຈກຢາຍການປະກອບສ່ວນເບິ່ງຄືວ່າສັບສົນຫຼາຍຂຶ້ນ. ບາງໜ້າວຽກຍ່ອຍແມ່ນຂຶ້ນກັບຜູ້ຊ່ຽວຊານຄົນດຽວເປັນຫຼັກ, ໃນຂະນະທີ່ບາງໜ້າວຽກຕ້ອງການການຮ່ວມມືຂອງຫຼາຍໂມດູນ. ຜົນໄດ້ຮັບນີ້ສອດຄ່ອງກັບລັກສະນະຂອງບັນຫາທີ່ສັບສົນ, ເຊິ່ງບໍ່ຄ່ອຍຈະສາມາດຕິດຕາມກັບໄປຫາຄວາມສາມາດທາງດ້ານສະຕິປັນຍາດຽວໄດ້.

ນັກຄົ້ນຄວ້າຍັງໄດ້ນຳໃຊ້ເຄື່ອງມືທົດລອງບາງຢ່າງທີ່ໄດ້ມາຈາກວິທະຍາສາດປະສາດໃສ່ກັບຮູບແບບ. ສິ່ງທີ່ເອີ້ນວ່າ ຕົວລະບຸຕຳແໜ່ງທີ່ໃຊ້ງານໄດ້ ພວກມັນຖືກນໍາໃຊ້ເພື່ອກວດສອບການເລືອກເຟັ້ນຂອງຫົວໜ່ວຍພາຍໃນທີ່ກ່ຽວຂ້ອງກັບສາມຂົງເຂດຄື: ພາສາ, ເຫດຜົນທົ່ວໄປ ແລະ ທິດສະດີຈິດໃຈ, ນັ້ນຄືຄວາມສາມາດໃນການເປັນຕົວແທນຄວາມຄິດ ແລະ ເຈດຕະນາຂອງຄົນອື່ນ.

ການວິເຄາະເຫຼົ່ານີ້ຊ່ວຍໃຫ້ພວກເຮົາສາມາດລະບຸຫົວໜ່ວຍທີ່ມີຄວາມຊ່ຽວຊານດ້ານໜ້າທີ່ທີ່ແຈກຢາຍຢູ່ໃນບັນດາຜູ້ຊ່ຽວຊານ ແລະ ຊັ້ນຕ່າງໆ. ຜົນໄດ້ຮັບບໍ່ໄດ້ໝາຍເຖິງຄວາມສອດຄ່ອງໂດຍກົງລະຫວ່າງເຊວປະສາດທາງຊີວະພາບ ແລະ ໜ່ວຍທຽມ, ແຕ່ພວກມັນສະເໜີເຄື່ອງມືເພີ່ມເຕີມສຳລັບການກວດສອບວ່າການແບ່ງຍ່ອຍແບບໂມດູນສ້າງພຶດຕິກຳທີ່ແຕກຕ່າງກັນແທ້ໆຫຼືບໍ່.

ໃນດ້ານປະສິດທິພາບ, ລຸ້ນຕ່າງໆ MiCRo-Llama-1B e MiCRo-Llama-3B, ໂດຍອີງໃສ່ຮູບແບບທີ່ມີໜຶ່ງ ແລະ ສາມພັນລ້ານພາລາມິເຕີຕາມລຳດັບ, ໄດ້ຖືກປຽບທຽບກັບຮູບແບບທີ່ໜາແໜ້ນ ແລະ ການຕັ້ງຄ່າແບບໂມດູນໂດຍບໍ່ມີຄວາມຊ່ຽວຊານດ້ານສະຕິປັນຍາດຽວກັນ.

ໃນການທົດສອບທີ່ຜູ້ຂຽນລາຍງານ, MiCRo ກົງກັນ ຫຼື ເກີນກວ່າມາດຕະຖານພື້ນຖານທີ່ພິຈາລະນາໃນຄະນິດສາດ, ຄວາມຮູ້ທົ່ວໄປ, ແລະ ມາດຕະຖານການຫາເຫດຜົນຫຼາຍຢ່າງ, ລວມທັງ GSM8K, Minerva-Math, MMLU, ແລະ BBH. ຜົນໄດ້ຮັບບໍ່ໄດ້ໝາຍຄວາມວ່າສະຖາປັດຕະຍະກຳມີປະສິດທິພາບດີກ່ວາຮູບແບບພາສາທີ່ມີຢູ່ທັງໝົດ, ແຕ່ພວກມັນສະແດງໃຫ້ເຫັນວ່າການນຳສະເໜີຄວາມຊ່ຽວຊານບໍ່ຈຳເປັນຕ້ອງເສຍສະລະປະສິດທິພາບ.

ລະບົບດັ່ງກ່າວຍັງໄດ້ຮັບການປະເມີນຜົນດ້ວຍ ເບນ Cog, ຊຸດການທົດລອງທີ່ປຽບທຽບພຶດຕິກຳຂອງຮູບແບບພາສາກັບຮູບແບບທີ່ເກີດຂຶ້ນຈາກການທົດສອບທາງຈິດວິທະຍາແບບຄລາສສິກທີ່ດຳເນີນກັບມະນຸດ. ຕົວແປ MiCRo ສະແດງໃຫ້ເຫັນຄວາມຄ້າຍຄືກັນຫຼາຍກ່ວາລຸ້ນໜາແໜ້ນຂອງພວກມັນ ແລະ ການຕັ້ງຄ່າແບບໂມດູນອື່ນໆທີ່ໃຊ້ເປັນການປຽບທຽບ.

ຜົນໄດ້ຮັບນີ້ກໍ່ບໍ່ໄດ້ພິສູດວ່າເຄືອຂ່າຍມີເຫດຜົນຄືກັບຄົນໃນຄວາມໝາຍທາງຊີວະວິທະຍາ, ສະຕິ, ຫຼືທົ່ວໄປ. ແທນທີ່ຈະ, ມັນຊີ້ໃຫ້ເຫັນວ່າໂຄງສ້າງທີ່ໄດ້ຮັບແຮງບັນດານໃຈຈາກຄວາມຊ່ຽວຊານດ້ານໜ້າທີ່ສາມາດສ້າງຮູບແບບພຶດຕິກຳສະເພາະບາງຢ່າງທີ່ສັງເກດເຫັນໃນການທົດລອງທາງດ້ານສະຕິປັນຍາໄດ້ຢ່າງຊື່ສັດກວ່າ.

ຈາກການທົດສອບດ້ານສະຕິປັນຍາຈົນເຖິງຄວາມໂປ່ງໃສທີ່ມີປະສິດທິພາບຂອງຮູບແບບໃໝ່

"ໃນບາງກໍລະນີ, ຄວາມສາມາດຂອງລະບົບເຫຼົ່ານີ້ໄດ້ເກີນຄວາມເຂົ້າໃຈຂອງພວກເຮົາກ່ຽວກັບວິທີການເຮັດວຽກຂອງພວກມັນ. ຖ້າພວກເຮົາສາມາດເຂົ້າໃຈດີຂຶ້ນວ່າເຄື່ອງຈັກເຫຼົ່ານີ້ເຂົ້າໃຈຂໍ້ມູນແນວໃດ, ພວກເຮົາສາມາດອອກແບບລະບົບທີ່ດີກວ່າ ແລະ ພັດທະນາລະບຽບການທີ່ມີປະສິດທິພາບຫຼາຍຂຶ້ນ."

ວິນາທີ Antoine Bosselut, ຜູ້ອໍານວຍການຂອງ ຫ້ອງທົດລອງປະມວນຜົນພາສາທຳມະຊາດ ຂອງ EPFL.

ໃນຂະນະທີ່ອ້າງອີງເຖິງວິວັດທະນາການຂອງຮູບແບບພາສາຂະໜາດໃຫຍ່ໂດຍທົ່ວໄປ, ການສະທ້ອນນີ້ຍັງສະຫຼຸບເປົ້າໝາຍທີ່ MiCRo ໄດ້ສະແຫວງຫາຢ່າງມີປະສິດທິພາບ. ສະຖາປັດຕະຍະກຳທີ່ພັດທະນາຢູ່ EPFL ບໍ່ໄດ້ຊອກຫາວິທີທີ່ຈະຮຽນແບບສະໝອງຂອງມະນຸດ, ແຕ່ແທນທີ່ຈະເຮັດໃຫ້ມັນສາມາດສັງເກດເຫັນໄດ້ຫຼາຍຂຶ້ນວ່າອົງປະກອບພິເສດທີ່ແຕກຕ່າງກັນປະກອບສ່ວນເຂົ້າໃນການສ້າງການຕອບສະໜອງແນວໃດ, ໂດຍສະເໜີເຄື່ອງມືເພີ່ມເຕີມໃຫ້ນັກຄົ້ນຄວ້າເພື່ອວິເຄາະພຶດຕິກຳຂອງຮູບແບບຕ່າງໆ.

ດຽວນີ້ມີການຄວບຄຸມໂດຍກົງຫຼາຍຂຶ້ນຕໍ່ເສັ້ນທາງການຄິດໄລ່

ຄວາມເປັນໂມດູນຂອງ MiCRo ບໍ່ພຽງແຕ່ຊ່ວຍໃຫ້ທ່ານສາມາດສັງເກດເຫັນອົງປະກອບໃດແດ່ທີ່ກ່ຽວຂ້ອງໃນລະຫວ່າງການປະມວນຜົນ. ສະຖາປັດຕະຍະກຳຍັງຊ່ວຍໃຫ້ທ່ານສາມາດດັດແປງພຶດຕິກຳຂອງຮູບແບບໃນລະຫວ່າງການອະນຸມານ, ການສົ່ງໂທເຄັນໄປຫາຜູ້ຊ່ຽວຊານສະເພາະ ຫຼື ມອບໝາຍນ້ຳໜັກໃຫ້ພວກມັນຫຼາຍຂຶ້ນ.

ຕົວຢ່າງ, ລະບົບສາມາດເນັ້ນໃຫ້ຄວາມສຳຄັນກັບການປະມວນຜົນທາງສັງຄົມຫຼາຍກວ່າການປະມວນຜົນທາງເຫດຜົນ, ຫຼື ເພື່ອເນັ້ນໜັກໃສ່ອົງປະກອບທີ່ກ່ຽວຂ້ອງກັບວຽກງານທາງຄະນິດສາດຫຼາຍທີ່ສຸດ. ຄວາມເປັນໄປໄດ້ນີ້ນຳສະເໜີການຄວບຄຸມທີ່ລະອຽດກວ່າການໃຊ້ພຽງແຕ່ຄຳແນະນຳທາງຂໍ້ຄວາມທີ່ມີຢູ່ໃນການກະຕຸ້ນເທົ່ານັ້ນ.

ນີ້ບໍ່ໄດ້ໝາຍຄວາມວ່າການດຳເນີນງານຈະກາຍເປັນສິ່ງທີ່ກຳນົດໄວ້ຢ່າງສິ້ນເຊີງ, ແລະທຸກໆການຕອບສະໜອງສາມາດຄາດເດົາໄດ້. ການຈັດເສັ້ນທາງຍັງຄົງເປັນສ່ວນໜຶ່ງຂອງເຄືອຂ່າຍປະສາດທີ່ສັບສົນ ແລະ ເປັນໄປໄດ້. ເຖິງຢ່າງໃດກໍ່ຕາມ, ຄວາມສາມາດໃນການສັງເກດ ແລະ ດັດແປງການຄັດເລືອກຂອງຜູ້ຊ່ຽວຊານສະເໜີໃຫ້ນັກຄົ້ນຄວ້າມີລະດັບການວິເຄາະ ແລະ ການແຊກແຊງເພີ່ມເຕີມໃນເສັ້ນທາງການຄິດໄລ່.

ລັກສະນະນີ້ອາດຈະເປັນທີ່ໜ້າສົນໃຈສຳລັບການພັດທະນາໃນອະນາຄົດຂອງການນຳໃຊ້ພິເສດ. ຜູ້ຊ່ວຍດ້ານການສຶກສາອາດຈະເນັ້ນໜັກໃສ່ການໃຊ້ເຫດຜົນທາງເຫດຜົນ ແລະ ຄວາມຊັດເຈນທາງດ້ານພາສາ, ໃນຂະນະທີ່ລະບົບທີ່ຖືກອອກແບບມາເພື່ອວິເຄາະການພົວພັນຂອງມະນຸດອາດຈະເນັ້ນໜັກໃສ່ໂມດູນທາງສັງຄົມຫຼາຍຂຶ້ນ.

ເຖິງຢ່າງໃດກໍ່ຕາມ, ສິ່ງເຫຼົ່ານີ້ແມ່ນຄວາມສົດໃສດ້ານການນຳໃຊ້ ແລະ ບໍ່ແມ່ນການນຳໃຊ້ທີ່ໄດ້ຮັບການຢືນຢັນແລ້ວຈາກການສຶກສາ. ວຽກງານຂອງ EPFL ກ່ຽວຂ້ອງກັບສະຖາປັດຕະຍະກຳການທົດລອງທີ່ມີຂະໜາດນ້ອຍກວ່າເມື່ອທຽບກັບຮູບແບບການຄ້າທີ່ສຳຄັນ ແລະ ບໍ່ໄດ້ປະເມີນການນຳໃຊ້ໂດຍກົງໃນການດູແລສຸຂະພາບ, ການເງິນ, ຄວາມຍຸຕິທຳ ຫຼື ການບໍລິຫານລັດ.

ຍິ່ງໄປກວ່ານັ້ນ, MiCRo ບໍ່ໄດ້ແກ້ໄຂບັນຫາການອະທິບາຍໂດຍອັດຕະໂນມັດ. ການຮູ້ວ່າໂທເຄັນໄດ້ຖືກມອບໝາຍໃຫ້ຜູ້ຊ່ຽວຊານດ້ານເຫດຜົນ ຫຼື ຜູ້ຊ່ຽວຊານດ້ານສັງຄົມນັ້ນບໍ່ເທົ່າກັບການມີຄຳອະທິບາຍທີ່ສົມບູນກ່ຽວກັບເຫດຜົນທີ່ຢູ່ເບື້ອງຫຼັງປະໂຫຍກທີ່ກຳນົດໃຫ້. ໂຄງສ້າງດັ່ງກ່າວຍັງບໍ່ໄດ້ລົບລ້າງພາບຫຼອນ, ການບິດເບືອນຂໍ້ມູນ, ການພົວພັນທີ່ບໍ່ຖືກຕ້ອງ, ຫຼື ພຶດຕິກຳທີ່ບໍ່ຄາດຄິດອື່ນໆ.

ແທນທີ່ຈະ, ສະຖາປັດຕະຍະກຳສະເໜີລະດັບການສັງເກດການລະດັບປານກາງ. ແທນທີ່ຈະວິເຄາະການແຈກຢາຍຂໍ້ມູນທີ່ມົວໆໃນທົ່ວຫຼາຍພັນລ້ານພາລາມິເຕີ, ນັກພັດທະນາສາມາດກວດສອບພຶດຕິກຳຂອງຜູ້ຊ່ຽວຊານແຕ່ລະຄົນ, ການຕັດສິນໃຈຂອງເຣົາເຕີ, ແລະຜົນສະທ້ອນຂອງການປິດການໃຊ້ງານອົງປະກອບ.

ຕົວຢ່າງ, ຖ້າຮູບແບບໃດໜຶ່ງມີຄວາມຫຍຸ້ງຍາກທີ່ເກີດຂຶ້ນຊ້ຳໆໃນວຽກງານທາງຄະນິດສາດ, ມັນອາດຈະເປັນໄປໄດ້ທີ່ຈະສຸມໃສ່ການວິເຄາະໃສ່ໂມດູນເຫດຜົນ, ເຣົາເຕີ, ຫຼືຂໍ້ມູນທີ່ໃຊ້ເພື່ອກະຕຸ້ນຄວາມຊ່ຽວຊານຂອງມັນ. ໃນຮູບແບບກ້ອນດຽວ, ການກຳນົດແຫຼ່ງທີ່ມາຂອງຄວາມຜິດພາດອາດຈະຕ້ອງການການສືບສວນທີ່ກວ້າງຂວາງ ແລະ ບໍ່ມີຂໍ້ສະຫຼຸບຫຼາຍ.

ການຕີຄວາມໝາຍ, ກົດລະບຽບຂອງເອີຣົບ, ແລະ ສິ່ງທ້າທາຍຕໍ່ໄປຂອງ AI

ການຄົ້ນຄ້ວາຂອງ ລັດ​ຖະ​ບານ​ກາງ Polytechnic ຂອງ Lausanne ມັນເປັນສ່ວນໜຶ່ງຂອງການປ່ຽນແປງທົ່ວໄປໃນການອອກແບບຮູບແບບພາສາ. ຫຼັງຈາກໄລຍະທີ່ຖືກຄອບງຳໂດຍການເພີ່ມພາລາມິເຕີ, ພະລັງງານການຄິດໄລ່, ແລະຂະໜາດຊຸດຂໍ້ມູນ, ກຸ່ມຕ່າງໆກຳລັງຄົ້ນຫາຍຸດທະສາດທີ່ສຸມໃສ່ຄວາມເປັນໂມດູນ, ປະສິດທິພາບ, ຄວາມສາມາດໃນການຄວບຄຸມ, ແລະຄວາມສາມາດໃນການຕີຄວາມ.

ຈຳນວນຂອງພາລາມິເຕີຍັງຄົງເປັນການພິຈາລະນາທີ່ສຳຄັນ, ແຕ່ມັນບໍ່ແມ່ນວິທີດຽວທີ່ຈະປັບປຸງຄວາມສາມາດຂອງ AI. ວຽກງານກ່ຽວກັບ MiCRo ຊີ້ໃຫ້ເຫັນວ່າການຈັດຕັ້ງພາຍໃນຂອງຮູບແບບ ແລະ ການນຳສະເໜີຂໍ້ຈຳກັດສະເພາະໃນລະຫວ່າງການຝຶກອົບຮົມຍັງສາມາດໃຫ້ຜົນປະໂຫຍດທີ່ວັດແທກໄດ້.

ຄວາມເປັນໄປໄດ້ຂອງການວິເຄາະພຶດຕິກຳຂອງລະບົບຕ່າງໆໃຫ້ດີຂຶ້ນກໍ່ກາຍເປັນສິ່ງທີ່ໜ້າສົນໃຈໃນຂອບກົດລະບຽບຂອງເອີຣົບ.ກົດໝາຍວ່າດ້ວຍ AI ມັນມີຜົນບັງຄັບໃຊ້ໃນວັນທີ 1 ສິງຫາ 2024, ໃນຂະນະທີ່ພັນທະກ່ຽວກັບການຄຸ້ມຄອງ ແລະ ຮູບແບບ AI ທົ່ວໄປໄດ້ມີຜົນບັງຄັບໃຊ້ໃນວັນທີ 2 ສິງຫາ 2025. ລະບຽບການດັ່ງກ່າວລວມມີ, ໃນບັນດາລັກສະນະອື່ນໆ, ພັນທະທີ່ກ່ຽວຂ້ອງກັບເອກະສານດ້ານວິຊາການ, ຄວາມໂປ່ງໃສ, ການແບ່ງປັນຂໍ້ມູນ ແລະ ການຄຸ້ມຄອງຄວາມສ່ຽງ.

MiCRo ບໍ່ໄດ້ຖືກອອກແບບມາເພື່ອຮັບປະກັນການປະຕິບັດຕາມກົດໝາຍວ່າດ້ວຍ AI, ແລະໂຄງສ້າງແບບໂມດູນຂອງມັນຢ່າງດຽວບໍ່ພຽງພໍທີ່ຈະຕອບສະໜອງຄວາມຕ້ອງການດ້ານກົດລະບຽບ. ເຖິງຢ່າງໃດກໍ່ຕາມ, ສະຖາປັດຕະຍະກຳທີ່ເຮັດໃຫ້ຂະບວນການພາຍໃນສາມາດສັງເກດໄດ້ຫຼາຍຂຶ້ນໃນທີ່ສຸດກໍ່ສາມາດປະກອບສ່ວນເຂົ້າໃນກິດຈະກຳການວິເຄາະ, ການກວດສອບຄວາມຖືກຕ້ອງ ແລະ ການກວດສອບທີ່ດຳເນີນໂດຍນັກພັດທະນາ ແລະ ຜູ້ໃຊ້ມືອາຊີບ.

ຍັງມີຄຳຖາມຫຼາຍຢ່າງທີ່ຍັງຄ້າງຢູ່. ມັນຈະຈຳເປັນຕ້ອງກວດສອບວ່າຄວາມຊ່ຽວຊານທີ່ສັງເກດເຫັນໃນຮູບແບບພາລາມິເຕີໜຶ່ງ ແລະ ສາມພັນລ້ານສາມາດຮັກສາໄວ້ໃນລະບົບທີ່ໃຫຍ່ກວ່າໄດ້ຫຼືບໍ່, ໄດ້ຮັບການຝຶກອົບຮົມກ່ຽວກັບຊຸດຂໍ້ມູນທີ່ແຕກຕ່າງກັນຫຼາຍຂຶ້ນ ແລະ ຂຶ້ນກັບການຮ້ອງຂໍທີ່ບໍ່ຊັດເຈນຈາກສະພາບການຕົວຈິງ.

ການຂະຫຍາຍເປັນຫຼາຍສິບ ຫຼື ຫຼາຍຮ້ອຍພັນລ້ານຕົວກໍານົດການອາດເຮັດໃຫ້ມັນຍາກທີ່ຈະຮັກສາຂອບເຂດການເຮັດວຽກທີ່ຊັດເຈນລະຫວ່າງຜູ້ຊ່ຽວຊານ. ມັນຍັງຈະເປັນສິ່ງຈໍາເປັນທີ່ຈະຕ້ອງປະເມີນຄ່າໃຊ້ຈ່າຍໃນການຄິດໄລ່ຂອງການຝຶກອົບຮົມ, ຄວາມໝັ້ນຄົງຂອງການວາງເສັ້ນທາງ, ຄວາມເປັນໄປໄດ້ຂອງໂມດູນທີ່ຄ່ອຍໆສູນເສຍຄວາມຊ່ຽວຊານຂອງມັນ, ແລະການແລກປ່ຽນໃດໆລະຫວ່າງຄວາມໂປ່ງໃສແລະຄຸນນະພາບການຕອບສະໜອງ.

ດັ່ງນັ້ນ, ໂຄງການດັ່ງກ່າວຈຶ່ງບໍ່ໄດ້ເປັນຕົວແທນຂອງວິທີແກ້ໄຂທີ່ແນ່ນອນຕໍ່ລັກສະນະທີ່ບໍ່ຊັດເຈນຂອງຮູບແບບພາສາ. ເຖິງຢ່າງໃດກໍ່ຕາມ, ມັນຊີ້ໃຫ້ເຫັນເຖິງທິດທາງທາງເລືອກທີ່ເປັນໄປໄດ້ນອກເໜືອໄປຈາກການເຕີບໂຕຂອງມິຕິງ່າຍໆ: ການສ້າງລະບົບທີ່ຄວາມສາມາດບໍ່ພຽງແຕ່ເກີດຂຶ້ນຈາກປະລິມານຂອງພາລາມິເຕີເທົ່ານັ້ນ, ແຕ່ຍັງມາຈາກໂຄງສ້າງພາຍໃນທີ່ຈັດລຽງຕາມໜ້າທີ່ຮັບຮູ້ໄດ້.

ໃນອຸດສາຫະກໍາທີ່ປະສິດທິພາບກໍາລັງເຕີບໂຕຢ່າງໄວວາ, ແຕ່ຄວາມໄວ້ວາງໃຈຂອງຜູ້ໃຊ້ ແລະ ການກວດສອບຍັງຄົງເປັນບັນຫາທີ່ເປີດກວ້າງ, ການເຂົ້າໃຈວ່າອົງປະກອບໃດທີ່ປະກອບສ່ວນເຂົ້າໃນການຕອບສະໜອງອາດຈະກາຍເປັນສິ່ງສໍາຄັນເທົ່າກັບການຕອບສະໜອງເອງ. ສິ່ງທ້າທາຍສໍາລັບຄົນລຸ້ນຫຼັງຂອງ ການຮຽນຮູ້ລຶກລັບ ດັ່ງນັ້ນ, ມັນບໍ່ພຽງແຕ່ຈະສ້າງຜົນໄດ້ຮັບທີ່ດີກວ່າເທົ່ານັ້ນ, ແຕ່ຍັງເຮັດໃຫ້ວິທີການສ້າງຜົນໄດ້ຮັບເຫຼົ່ານັ້ນມີຄວາມຊັດເຈນຂຶ້ນ, ຫັນປ່ຽນ ຄົ້ນ​ຄວ້າ​ແລະ​ພັດ​ທະ​ນາ ໃຫ້ເປັນເຄື່ອງມືສຳລັບການສ້າງລະບົບທີ່ສາມາດວິເຄາະ ແລະ ຄວບຄຸມໄດ້ຫຼາຍຂຶ້ນ.

ນີ້ແມ່ນຄວາມເຂົ້າໃຈສາມຢ່າງທີ່ທ່ານອາດຈະສົນໃຈ:

ຈາກ EPFL ຮູບແບບ multimodal ໃຫມ່ສໍາລັບ AI ທີ່ມີຄວາມຍືດຫຍຸ່ນຫຼາຍ
ສະໝອງແຍກເຫດຜົນ ແລະ ພາສາອອກ: ຫຼັກຖານມາຈາກ MIT
Apertus ແມ່ນ Swiss "AI ເປີດ" ສໍາລັບອະນາຄົດທີ່ໂປ່ງໃສກວ່າ.