Page 47 - My FlipBook

“Эрдмийн чуулган-2023” ЭРДЭМ ШИНЖИЛГЭЭНИЙ БҮТЭЭЛИЙН ЭМХЭТГЭЛ

INTENT АНГИЛАЛ ДҮГНЭЛТ

1-Р ХҮСНЭГТ 1. Тус судалгааны ажлаар бид Rasa фрэймворк
Metric Score ашиглан их, дээд сургуульд элсэхэд зориулсан
хиймэл оюун ухаантай харилцан ярианы чатбот
F1-score 95%
хөгжүүлэх асуудлыг авч үзэж, тодорхой үр дүнд
Accuracy 95% хүрсэн. Чатбот нь үнэн зөв, цаг тухайд нь мэдээллээр
Precision 95% хангах, элсэлттэй холбоотой даалгавруудыг
гүйцэтгэх замаар элсэлтийн үйл явцад нь туслах үр

дүнтэй хэрэгсэл болох нь батлагдсан. Хэрэглэгчийн
Туршилтын үр дүн 100% үзүүлж байгаа боловч туршилтын үр дүнгээс чатбот нь өндөр нарийвчлал,
цаашид гарах эрсдэлийг тооцож -+5 алдааны бүрэн бүтэн байдлын оноо авч, хэрэглэгчийн сэтгэл
магадлалыг тооцсон (огт үүсгээгүй intent-ийн ханамжийг хангасан болохыг үзүүлсэн. Үнэлгээний
асуулт асуух) ба үүнээс харахад чатбот 95% үр дүнд чатбот нь элсэлтийн үйл явцад эерэг нөлөө
нарийвчлалтай, 95% бүрэн байдал, хэрэглэгчийн үзүүлж, хүний нөөцийн зардлыг бууруулж, үр
сэтгэл ханамжийн оноо 5-4.5 байгаа нь чатботыг ашгийг дээшлүүлэх боломжтой гэдэг нь харагдсан.
элсэлтэд ашиглаж хэрэглэгчдэд найдвартай, үнэн зөв Цаашлаад энэхүү судалгааг үргэлжлүүлэн бүх
мэдээлэл өгөх боломжтойг харуулж байна. ШУТИС-ийн салбар сургуулиудад нэг server дээрээс
deploy хийх боломжтой бөгөөд үүгээр ч зогсохгүй
чатботоор дамжуулан, сургалтын төлбөр төлөх
болон чөлөө авах, оюутны байрны мэдээлэл, дуут
мессежэд хариу өгөх зэрэг үйлдлийг нэмэх
боломжтой юм.
2. Түүнчлэн чатботын үйл ажиллагааг
өргөжүүлэх, чатботын эх хэлний боловсруулах
чадварыг сайжруулж, илүү төвөгтэй асуултуудыг
ойлгож, илүү нарийн хариулт өгөх боломжийг бий
болгохоос гадна бусад их сургуулийн системүүдтэй
Зураг 7. Зорилтыг урьдчилан таамаглах итгэлийн нэгтгэж хэрэглэгчдэд илүү саадгүй ашиглахад
тархалт ба төөрөгдлийн матриц (Intent Prediction Confidence чиглэх ёстой. ШУТИС шинээр оюутныг элсүүлэхдээ
Distribution and Confusion matrix)
хиймэл оюун ухаанаар удирдуулсан харилцан
Үнэлгээ: Хиймэл оюун ухаанаар удирдуулсан ярианы чатбот ашиглаж эхлэвэл боловсролын
харилцан ярианы чатботыг их сургуульд оюутныг салбарт хиймэл оюун ухааны технологийг
элсүүлэх элсэлтийн үйл явцад үзүүлж буй нөлөөлөл, амжилттай нэвтрүүлж болохыг харуулж байна. Мөн
хэрэглэгчийн сэтгэл ханамжид үндэслэн үнэлэв. бид судалгааны үр дүнгээ олон улсын өгүүлэл
Үнэлгээг дараах үзүүлэлтүүдийг ашиглан хийсэн. болгож хэвлүүлэх зорилт тавин ажиллаж байна.
Үүнд: АШИГЛАСАН МАТЕРИАЛ, НОМ ЗҮЙ

Хүний нөөцийн зардлыг бууруулах: Элсэлттэй [1] Rasa: Open Source Language Understanding and Dialogue
холбоотой асуулт, даалгавруудыг чатбот хариуцах Management, https://arxiv.org/abs/1712.05181
боломжтой. Ирээдүйн оюутнуудыг өөртөө үйлчлэх [2] Going Beyond T-SNE: Exposing \ texttt {whatlies} in Text
боломжоор хангаснаар их сургууль элсэлтийн Embedding, https://arxiv.org/abs/2009.02113
ажилтнуудын ачааллыг бууруулж, хүний нөөцийн [3] Dialogue Transformers, https://arxiv.org/abs/1910.00486
зардлыг хэмнэнэ. [4] https://rasa.com/blog/integrating-rasa-with-knowledge-bases
[5] https://rasa.com/blog/supervised-word-vectors-from-scratch-in-
Үр ашгийн өсөлт: Бид чатбот нь оюутны rasa-nlu
асуултад цаг тухайд нь, үнэн зөв хариу өгөх [6] Attention Is All You Need, https://arxiv.org/abs/1706.03762
чадвараас үүдэн үр ашгийн өсөлтийг хэмжсэн. [7] Expert system with application,
Ирээдүйн оюутнуудад элсэлттэй холбоотой https://www.elsevier.com/journals/expert-systems-with-
мэдээллийг 24/7 цагийн турш авах боломжоор applications/0957-4174/guide-for-authors
хангаснаар элсэлтийн ажилтан асуулгад нэг бүрчлэн [8] Knowdlegde-based systems, https://www.sciencedirect.com/
хариулахад шаардагдах цаг хугацаа, нөөцийг journal/knowledge-based-systems
багасгах боломжтой. [9] NEU-chatbot: Chatbot for admission of National Economics
University, ℎ :// . . / /
Хэрэглэгчийн сэтгэл ханамж: Бид чатботын / / 2666920 21000308
ажиллагаа болон хэрэглэгчийн туршлагад [10] A framework for building closed-domain chat dialogue systems
хэрэглэгчдийн сэтгэл ханамжийн түвшинг хэмжсэн. [11] https://www.sciencedirect.com/science/article/pii/S0950705120
Хэрэглэгчийн эерэг туршлагыг бий болгосноор их 304287
сургууль нь хэрэглэгчийн сэтгэл ханамжийг
нэмэгдүүлж, ирээдүйн илүү олон оюутныг татах
боломжтой. Мөн оюутанд зөвлөх үйлчилгээг
чатботоор дамжуулж хүргэж болно.

46