1. What distinguishes a multi-agent system from a modular single-agent system?

A multi-agent system (MAS) consists of multiple autonomous agents, each capable of making its own decisions, acting independently, and interacting with others. In contrast, a modular single-agent system has a centralized decision-maker that controls various modules, meaning it’s still one agent managing internal components rather than independent entities.

2. How do multi-agent systems compare to ensemble learning in traditional ML?

Multi-agent systems involve agents coordinating actions with each other, and adapting to their environment in real time. Ensemble learning combines multiple models (like random forests or boosting) to improve prediction accuracy, but these models operate independently and don’t communicate during runtime.

3. How can you ensure that agent communication remains interpretable and auditable?

To ensure agent communication is interpretable and auditable, all messages should be logged with structured formats such as JSON, including metadata like sender ID, timestamp, and message type. Using a centralized logging service or distributed trace system helps maintain transparency.

4. Can agents learn from each other in MAS? How is knowledge sharing handled?

Yes, agents in a MAS can learn from each other using shared data structures like a blackboard system or message passing protocols. The system must be designed with conflict resolution and update synchronization mechanisms to ensure consistency and avoid contradictory learning updates.

What infrastructure is needed to scale MAS?

To scale a multi-agent system, you need a distributed infrastructure with components like Kubernetes for container orchestration, message brokers (e.g., Kafka, RabbitMQ) for inter-agent communication, and distributed databases (like Redis or Cassandra) for shared state and memory.

Pagkamaster sa Multi-Agent Eval Systems sa 2025

Isinulat ni

Aryan Kargwal

AI Developer, Kandidato sa PhD, at Tagalikha ng Nilalaman (edtr newsletter at Botpress)

Talaan ng Nilalaman

Hakbang 1. dito ilalagay ang pamagat ng hakbang gaya ng inaasahan

Buod

Ang mga multi-agent system (MAS) ay gumagamit ng maraming AI agent na nagtutulungan para lutasin ang masalimuot na gawain gaya ng paggawa ng ulat o pamamahala ng mga data center.
Pinapahintulutan ng MAS na makapagtrabaho ang mga agent nang magkakahiwalay at sistematiko, sa halip na umasa sa iisang agent na gumagawa ng lahat ng gawain gamit lamang ang mga prompt.
Ang mga multi-agent evaluation system (MAES) ay mga kasangkapan para suriin kung gaano kahusay ang pagganap ng bawat agent at ng kanilang pagtutulungan sa loob ng MAS.
Sa pagsusuri ng MAS, hindi lang indibidwal na pagganap ng agent ang tinitingnan kundi pati kung gaano sila kahusay magtulungan at magpalitan ng impormasyon.

Maligayang pagdating sa kapanapanabik na mundo ng mga multi-agent! Binabago ng mga LLM na ito ang produktibidad sa pamamagitan ng pagtatrabaho kasama ng tao upang lutasin ang masalimuot na mga problema. Mula sa paggawa ng ulat hanggang sa pag-debug ng code at pamamahala ng data center, ang kakayahang bumuo ng mga AI agent na mahusay magtulungan ay kumakatawan sa hinaharap ng lakas-paggawa ng AI.

Paano mo sinusukat ang tagumpay ng multi-agent na mga sistema? Ang pagsusuri sa MAS (multi-agent systems) ay parang pagmamarka sa isang relay race—hindi lang ang bawat mananakbo, kundi pati kung gaano kaayos naipapasa ang baton sa isa’t isa.

Pero bago tayo magpatuloy diyan…

Ano ang Multi-Agent Systems?

Ang multi-agent system ay binubuo ng maraming AI agent na nagtutulungan sa iisang kapaligiran para makamit ang isang pangunahing layunin. Maaaring kailanganin o hindi na lahat ng agent ay mag-ambag dito.

Bakit hindi na lang ipasa ang iba't ibang system prompt sa iisang agent? Pinapahintulutan ng mga multi-agent system na makapagtrabaho ang maraming agent nang magkakahiwalay, nakakakita at gumagawa ng desisyon upang mas sistematiko at episyente ang pag-abot sa layunin.

Gumawa ng AI Chatbots

Gumawa ng mga agentic na chatbot na iniakma sa iyong pangangailangan

Simulan na

Ano ang Multi-Agent Eval Systems?

Ang mga sistema ng pagsusuri sa multi-agent ay maaaring ituring na mga kasangkapan, balot, o serbisyo na ginagamit upang suriin ang kilos ng agentic na mga sistema.

Hindi lang limitado ang mga sistemang ito sa dami ng sukatan gaya ng latency o token usage. Ang mga makabagong paraan ng pagsusuri ay nagbibigay ng mas malalim na pag-unawa sa kilos ng mga agent gamit ang mga sukatan na sumasaklaw sa mas kalidad na aspeto tulad ng pagkakaugnay at semantikong pagkakatulad sa pinagmulan ng nilalaman.

Mga Dapat Isaalang-alang sa Pagsusuri ng Multi-Agent na mga Sistema

Ang pagsusuri sa multi-agent systems (MAS) ay nangangailangan ng tamang tanong sa bawat hakbang ng proseso. Makakatulong ang mga aspetong ito para muling pag-isipan o pagbutihin ang disenyo ng iyong system:

1. Kooperasyon at Koordinasyon

Maganda ba ang pakikitungo ng mga agent sa isa't isa, o magulo at hindi totoo ang ugnayan? Halimbawa, sa data bank, kailangang magtulungan ang mga agent para maiwasan ang banggaan, gaya ng pag-overwrite ng dynamic files na ginagamit ng ibang agent.

2. Paggamit ng Kasangkapan at Yaman

Gaano kahusay ginagamit ng mga agent ang mga kasangkapan na meron sila? Kung nagde-deploy ka ng MAS para sa pagsusuri ng datos, epektibo bang hinahati ng mga agent ang gawain o inuulit-ulit lang nila ang trabaho?

3. Kakayahang Magpalawak

Ang pagdagdag ng agent ay maaaring magpabuti o makasira ng system. Gumaganda ba ang performance habang dumarami, o nagkakagulo na sila? Kung masyadong nagkakapatong-patong ang gawain ng mga agent, masasayang ang mahalagang compute resources.

Paano Bumuo ng Multi-Agent Evaluation Systems?

May ilang gawain na kailangang magawa upang makabuo ng epektibong balangkas ng pagsusuri para sa iyong multi-agent system. Ganito mo ito maaaring ayusin:

Mga Log ng Pakikipag-ugnayan ng Agent: I-record ang bawat desisyon, kilos, at komunikasyon para sa pagsusuri.
Mga Sukatan ng Pagsusuri: Tukuyin ang mga sukatan at benchmark para sa interaksyon ng mga agent.
Evaluation Framework: Piliin ang tamang framework na gagamitin para simulan ang pagsusuri.

Nagpapalunsad ka ba ng mga AI na ahente?

Basahin ang Gabay sa Pagpapatupad ng AI Agent

Basahin Ngayon

1. Mga Log ng Pakikipag-ugnayan ng Agent

Kailangang mapanatili ang pananagutan ng bawat agent para sa pangkalahatang gawain ng pagsusuri sa multi-agent systems. Ang pagbuo ng mga log ng pakikipag-ugnayan na nagpapakita ng pag-iisip, kilos, at bunga ng bawat agent ay nagpapalakas ng sistema.

Gastos sa AI

‍

Maaaring maglaman ang mga log na ito ng mga timestamp, tawag sa kasangkapan, nabuong resulta, o panloob na usapan. Narito ang halimbawa ng log ng usapan mula sa agent na na-deploy gamit ang Botpress.

2. Mga Sukatan ng Pagsusuri

Ang pagsusuri sa MAS ay nakasalalay sa tamang sukatan at praktikal na kasangkapan para sukatin ang pagganap. Kapag handa na ang mga log, panahon nang magdesisyon kung ano ang susukatin. Narito ang mga pangunahing sukatan para sa iyong MAS:

Kategorya	Sukatan	Paglalarawan
	Katumpakan ng Paglalaan ng Gawain	Mga gawain na naitalaga sa pinaka-angkop na agent.
Kolaborasyon	Tagal ng Komunikasyon	Oras ng tugon ng agent (ms).
	Tagumpay sa Paggamit ng Kasangkapan	Porsyento ng matagumpay na interaksyon sa kasangkapan (API/Function).
Paggamit ng Kasangkapan	Oras ng Pag-aangkop	Oras para makaangkop sa bagong kasangkapan (segundo).
	Katumpakan ng Pagtatapos ng Gawain	Katumpakan ng resulta ng gawain (%).
Kalidad ng Output	Pagkakaugnay ng Output	Lohikal na pagkakapare-pareho ng mga nabuong output.
	Throughput	Mga gawaing natapos kada oras ng lahat ng agent.
Pagganap ng Sistema	Oras ng Pagbangon mula sa Mali	Oras para makabawi mula sa error (segundo).
Mga Etikal na Sukatan	Indeks ng Katarungan	Pantay na pamamahagi ng gawain/yaman.

‍

Kapag sinusuri ang ganitong mga sistema, mahalagang ituon ang pansin sa mga sukatan na sumasalamin sa kolaborasyon, paggamit ng kasangkapan, at kalidad ng output.

3. Evaluation Framework

Sa pagpili ng framework para kunin at ipunin ang mga sukatan, madali kang makakahanap ng maraming open-source na library. Tingnan natin ang DeepEval, TruLens, RAGAs, at DeepCheck—ilan sa mga nangungunang framework na magagamit mo sa pagsusuri:

Framework	Paglalarawan	Mga Benepisyo para sa MAS
DeepEval	Sinusuri ang LLM gamit ang nako-customize na sukatan at nakatuon sa gawain/datos.	- Tinutunton ang ambag ng bawat agent. - Nako-customize na sukatan para sa kolaborasyon ng MAS. - CI/CD integration para sa tuloy-tuloy na testing.
TruLens	Nakatuon sa interpretasyon at pag-akma ng output.	- Nadi-debug ang komunikasyon ng mga agent. - Tinitiyak ang pag-akma sa layunin ng MAS. - May sukatan para sa kaugnayan ng konteksto.
Ragas	Sinusuri ang Retrieval-Augmented Generation (RAG) systems.	- Mainam para sa MAS na gumagamit ng RAG. - Tinutunton ang katumpakan at kaugnayan ng tugon. - Sinusuri ang pinagsasaluhang data context.
DeepCheck	Tinitiyak ang transparency, katarungan, at tibay ng AI.	- Tinitiyak ang katarungan sa MAS. - Natutukoy ang bias sa paggawa ng desisyon. - Ipinapakita ang transparency at kalusugan ng MAS.

‍

Kapag naitakda na ang iyong evaluation framework, panahon na para tumutok sa aksyon. Ang mga sukatan at insight na makukuha mo ay dapat magsilbing gabay sa pagpapabuti ng iyong multi-agent systems:

Isaayos ang mga Protokol ng Kolaborasyon: Gamitin ang mga sukatan para ayusin kung paano nag-uugnayan at naghahati ng gawain ang mga agent.
Pahusayin ang Alokasyon ng Yaman: Maaaring ipakita ng datos mula sa evaluation framework ang mga hindi episyenteng paggamit ng kasangkapan o pamamahagi ng yaman sa compute.
Agapan ang Bias: Ang regular na pagsusuri gamit ang mga nabanggit na evaluation framework ay tinitiyak na patas at pantay ang output ng iyong MAS.

Iangat ang Iyong Automation Pipeline gamit ang Multi-Agents

Ang mga multi-agent evaluation system ang pundasyon ng paglikha ng episyente, maaasahan, at nababagay na AI agents. Kung pinapahusay mo man ang workflow, nagpapabuti ng desisyon, o nagpapalawak ng komplikadong gawain, tinitiyak ng matibay na evaluation framework na nasa pinakamagandang anyo ang iyong mga sistema.

Handa ka na bang gumawa ng mas matalino at mas mahusay na AI agent? Gumagamit ang Botpress ng mga kasangkapan na kailangan mo upang bumuo at pamahalaan ang makapangyarihang mga sistemang agentic. May mga tampok tulad ng Agent Studio para sa mabilisang pagdidisenyo, at tuluy-tuloy na integrasyon sa mga plataporma gaya ng Slack at WhatsApp.

Ang Botpress ay dinisenyo para gawing simple ang mga komplikadong bagay. Simulan mo na ang paggawa ngayon — libre ito.

Gumawa ng AI Chatbots

Gumawa ng mga agentic na chatbot na iniakma sa iyong pangangailangan

Simulan na

FAQs

1. Ano ang pinagkaiba ng multi-agent system sa modular single-agent system?

Ang multi-agent system (MAS) ay binubuo ng maraming autonomous na agent, bawat isa ay may kakayahang magdesisyon, kumilos nang mag-isa, at makipag-ugnayan sa iba. Sa kabilang banda, ang modular single-agent system ay may sentralisadong tagapagdesisyon na kumokontrol sa iba't ibang module—isa pa ring agent na namamahala sa mga internal na bahagi, hindi mga independenteng entity.

2. Paano ikinukumpara ang multi-agent systems sa ensemble learning sa tradisyunal na ML?

Ang mga multi-agent na sistema ay binubuo ng mga ahente na nagtutulungan at umaangkop sa kanilang kapaligiran nang real time. Ang ensemble learning ay pinagsasama ang maraming modelo (tulad ng random forests o boosting) para mapahusay ang katumpakan ng prediksyon, ngunit ang mga modelong ito ay gumagana nang magkakahiwalay at hindi nag-uusap habang tumatakbo.

3. Paano masisiguro na ang komunikasyon ng mga ahente ay nananatiling madaling maunawaan at masusuri?

Para masiguro na madaling maunawaan at masusuri ang komunikasyon ng mga ahente, dapat itala ang lahat ng mensahe gamit ang estrukturadong format gaya ng JSON, kabilang ang metadata tulad ng sender ID, oras, at uri ng mensahe. Ang paggamit ng sentralisadong logging service o distributed trace system ay nakakatulong para sa pagiging bukas at malinaw ng sistema.

4. Maaari bang matuto ang mga ahente mula sa isa’t isa sa MAS? Paano isinasagawa ang pagbabahagi ng kaalaman?

Oo, maaaring matuto ang mga ahente sa MAS mula sa isa’t isa gamit ang mga pinagsasaluhang estruktura ng datos tulad ng blackboard system o mga protocol ng pagpapasa ng mensahe. Kailangang idisenyo ang sistema na may mekanismo para sa pagresolba ng tunggalian at pagsabay ng pag-update upang mapanatili ang pagkakapare-pareho at maiwasan ang magkasalungat na pagkatuto.

5. Anong imprastraktura ang kailangan para mapalawak ang MAS?

Para mapalawak ang multi-agent na sistema, kailangan mo ng distributed na imprastraktura na may mga bahagi tulad ng Kubernetes para sa pag-oorganisa ng mga container, mga message broker (hal. Kafka, RabbitMQ) para sa komunikasyon ng mga ahente, at distributed na database (tulad ng Redis o Cassandra) para sa pinagsasaluhang estado at memorya.