Page 46 - My FlipBook

ЭРДЭМ ШИНЖИЛГЭЭНИЙ БҮТЭЭЛИЙН ЭМХЭТГЭЛ “Эрдмийн чуулган-2023”

өгөгдөл болгон оруулж response selecter буюу зөв чатботын гүйцэтгэлийг дараах хэмжүүр дээр
хариулт сонгох машин сургалтын модел ашиглаж үндэслэн үнэлэв. Үүнд:
байна. o Нарийвчлал: Чатботоос өгсөн зөв

Их сургуулийн мэдээллийн сантай нэгтгэх: хариултын хувь
Чатбот холбогдох өгөгдөлд хандах боломжийг o Бүрэн байдал: Өгөгдсөн даалгаврыг
олгохын тулд бид ШУТИС-ийн элсэлтийн гүйцэтгэхийн тулд чатбот шаардлагатай бүх
мэдээллийн сантай нэгтгэх хэрэгтэй болно. Энэ нь мэдээллээр хангасан байдал.
чатбот программын бэлэн байдал, элсэлтийн байдал o Хэрэглэгчийн сэтгэл ханамж:
зэрэг хэрэглэгчдэд үнэн зөв, сүүлийн үеийн Хэрэглэгчид чатботын ажиллагаа болон
мэдээллээр хангах боломжийг олгох юм. хэрэглэгчийн туршлагад хэр зэрэг сэтгэл хангалуун
байсан.
Хэрэглэгчийн туршилт: Бид чатботын
гүйцэтгэлийг үнэлэхийн тулд ирээдүйн (оюутан Моделоо дуусгасны дараа хамгийн чухал асуулт
болоогүй байгаа хүн) оюутнуудын түүвэрт гарч ирнэ. Манай модел хэр сайн бэ? Хариулт бүрийн
хэрэглэгчийн тест хийсэн. Мөн чатботын оноог хэмжихийн тулд бид хариултыг хүний
хариултуудын үнэн зөв, бүрэн бүтэн байдал, мөн үнэлгээний дагуу ангилах хэрэгтэй. Үүнд:
хэрэглэгчийн системд сэтгэл ханамжтай байгаа Үндэслэлтэй хариулт, хачин боловч ойлгомжтой,
эсэхийг үнэлэв. Бид чатботын хариулт, үйл эсвэл утгагүй хариулт гэх мэт. Бид локал дээр
ажиллагааг нь сайжруулахын тулд хэрэглэгчийн судалгаа явуулж чатботоо precision (1), F1 score (3),
туршилтын санал хүсэлтийг ашигласан. accuracy (4) гэж хэмжсэн. Энд: Жинхэнэ эерэг (TP)
Deployment: Цаашид чатботыг ШУТИС-ийн вэб нь загвар эерэг ангиллыг зөв таамагласан үр дүн юм.
Үүний нэгэн адил жинхэнэ сөрөг (TN) нь загвар
сайт, сошиал медиа платформ, цахим шуудангийн сөрөг ангиллыг зөв таамагласан үр дүн юм. Өөр
системд нэвтрүүлэх боломжтой. Ирээдүйн хамааралтай ажиглалт бодит байдалд байхгүй
оюутнуудад элсэлттэй холбоотой асуулт, байхад таамаглахад худал эерэг (FP) юм. Мөн
даалгавруудыг шийдвэрлэхэд нь туслах зорилгоор хуурамч сөрөг (FN) нь загвар нь сөрөг ангиллыг
чатбот нь 24/7 цагийн турш ажиллах боломжтой. буруу таамагласан үр дүн юм
Локал туршилтын зарим үр дүн: Туршилтын Precision = TP / (TP + FP) (1)
зарим үр дүнг 4 ба 5 дугаар зурагт үзүүлсэн. 4 дүгээр
зурагт үзүүлж байгаа хэсэгт хөгжүүлсэн чатбот нь Recall = TP / (TP + FN) (2)
алдаатай үгийг таниад хариулт нь хариулах өгөгдөл F1 = 2 × Precision × Recall / (Precision + Recall) (3)
дээр байхгүй ч Bert моделийг ашиглаж бүх талаас нь
таамаглаж үзэн хариулт өгч байна. Accuracy = (TP + TN) / (TP + TN + FP + FN) (4)

6 дугаар зурагт precision, recall, F1-score оноог
үзүүлсэн.

Зураг 4. Туршилт №1
5 дугаар зурагт greet, requirement 2 intent ашиглаж
юм асуухад хөгжүүлж буй чатбот мөн хэрхэн
таамаглаж зөв, оновчтой хариулт өгч байгааг
үзүүлсэн байна.

Зураг 6. Precision, recall, f1 score
Зураг 5. Туршилт №2 Intent ангиллыг cross validation аргыг ашиглан F1
score, accuracy, precision үнэлсэн. 1 дүгээр хүснэгтэд
Бодит туршилт: Чатботын гүйцэтгэлийг сонгосон загварын дундаж оноог үзүүлэв.
үнэлэхийн тулд бид түүврээр сонгож авсан ахлах
ангийн 50 сурагчдаар туршилтыг хийсэн.
Туршигчдаас чатбот ашиглан ямар хөтөлбөрүүд
байгаа эсэх, эцсийн хугацаа, шаардлагатай бичиг
баримтыг шалгах гэх мэт элсэлттэй холбоотой хэд
хэдэн туршилтыг гүйцэтгэхийг хүссэн. Бид

45