«Ճշգրիտի» սահմանումը AI համակարգերում

«Ճշգրիտի» սահմանումը AI համակարգերում

Ավանդական թեստավորումն ունի ճշգրտության հստակ գաղափար՝ նախապես սահմանված սպասվող արժեք, որի հետ փաստացի արդյունքը կամ համընկնում է, կամ ոչ։ AI համակարգերը գրեթե անմիջապես կոտրում են այս մոդելը, քանի որ մեկ հարցումը կարող է ունենալ մի քանի տարբեր ընդունելի պատասխան, յուրաքանչյուրը՝ ինչ-որ իմաստով ճիշտ։ Նախքան AI ֆունկցիայի համար թեկուզ մեկ իմաստալից test case գրելը, թիմը պետք է համաձայնության գա, թե կոնկրետ այս ֆունկցիայի համար ինչ է նշանակում «ճիշտ»։

Այս հոդվածում կանդրադառնանք․

1. Ինչու՞ ավանդական pass/fail-ը չի աշխատում
2. Ճշգրտությունը սահմանելու չորս եղանակ
3. Ինչպե՞ս կառուցել գնահատման ռուբրիկա
4. Ինչպե՞ս աշխատել սուբյեկտիվության և երկիմաստության հետ

Ինչու՞ ավանդական pass/fail-ը չի աշխատում

Խնդրեք AI ասիստենտին «ամփոփել այս հոդվածը երկու նախադասությամբ» և տվեք նույն հարցումը երեք փորձառու հեղինակի — կստանաք երեք տարբեր, բայց հավասարապես ընդունելի ամփոփում։ Չկա մեկ սպասվող տող, որի հետ համեմատել արդյունքը։ AI-ի արտադրանքը խիստ pass/fail test-ի մեջ մտցնելու փորձն արդյունքում տալիս է կամ կեղծ ձախողումներ (պատասխանը լավն էր, բայց բառացիորեն չէր համընկնում սպասված տեքստի հետ), կամ կեղծ հաջողություններ (test-ը այնքան մեղմացվեց, որ դադարեց բռնել իրական խնդիրները)։ Ոչ մի արդյունք թիմին վստահելի ազդանշան չի տալիս — հենց դրա համար է AI-ի գնահատումը պահանջում սեփական մոտեցում, ոչ թե ավանդական assert-ի վրա հիմնված թեստավորման պարզ կրկնություն։

Ճշգրտությունը սահմանելու չորս եղանակ

AI-ի գնահատման ռազմավարությունների մեծ մասը համադրում է այս մոտեցումներից մի քանիսը, ոչ թե հենվում է մեկի վրա․

• Ճշգրիտ կամ մոտավոր համընկնում — դեռ օգտակար է արտադրանքի համար, որն իրապես ունի մեկ ճիշտ պատասխան, օրինակ՝ փաստաթղթից կոնկրետ թիվ արտահանելը։
• Իմաստային նմանություն — արտադրանքի իմաստի համեմատում ստուգված պատասխանի հետ, ոչ թե ճշգրիտ ձևակերպման, հաճախ մեկ այլ մոդելի միջոցով գնահատելով, թե որքան մոտ են երկուսը։
• Մարդկային գնահատում — մարդը վերանայում է արտադրանքը սահմանված չափանիշով. ավելի դանդաղ և ավելի դժվար scale անել, բայց հաճախ ամենավստահելին՝ դատողություն պահանջող խնդիրների համար։
• Ռուբրիկայի վրա հիմնված գնահատում — «ճշգրտության» բաժանում կոնկրետ, ստուգելի չափանիշների (ճշգրտություն, relevance, տոն, ամբողջականություն) և յուրաքանչյուրի առանձին գնահատում, ոչ թե մեկ pass/fail։

Ինչպե՞ս կառուցել գնահատման ռուբրիկա

Ռուբրիկան որակի մասին անորոշ պատկերացումը վերածում է մի բանի, որը tester-ը — կամ ավտոմատ գնահատողը — կարող է հետևողականորեն կիրառել։ Աշխատող ռուբրիկան սովորաբար յուրաքանչյուր չափանիշի համար սահմանում է, թե ինչ տեսք ունի բարձրագույն, միջին և ձախողված գնահատականը՝ կոնկրետ օրինակով յուրաքանչյուրի համար։ Հաճախորդների սպասարկման chatbot-ի համար ռուբրիկան կարող է գնահատել յուրաքանչյուր պատասխան ըստ ճշգրտության (տեղեկությունը ճի՞շտ է), ամբողջականության (հարցին ամբողջովի՞ն է պատասխանում), տոնի (brand-ին համապատասխանո՞ւմ է) և անվտանգության (խուսափու՞մ է վնասակար կամ քաղաքականությունը խախտող բովանդակությունից) — յուրաքանչյուրը գնահատվում է առանձին, քանի որ պատասխանը կարող է լիովին ճշգրիտ լինել և, միևնույն ժամանակ, տոնով ձախողվել։ Ամբողջ թիմի՝ product-ի, QA-ի և AI համակարգի պատասխանատուի ներգրավումը ռուբրիկայի սահմանման մեջ կարևոր է, քանի որ «ճշգրտությունը» ի վերջո product-ային որոշում է, ոչ միայն թեստավորչական։

Ինչպե՞ս աշխատել սուբյեկտիվության և երկիմաստության հետ

Ճշգրտության որոշ հարցեր երբեք ամբողջովին չեն վերածվում օբյեկտիվ կանոնի, և հակառակը ձևացնելը ստեղծում է ռուբրիկաներ, որոնց հետ գործնականում իրապես ոչ ոք համաձայն չէ։ Երբ չափանիշն իրապես սուբյեկտիվ է՝ տոն, օգտակարություն, ստեղծագործականություն — օգտակար է, որ նույն արտադրանքը անկախաբար գնահատեն մի քանի ընթերցող և համեմատեն արդյունքները. գնահատողների միջև ուժեղ տարաձայնությունը ինքնին օգտակար տեղեկություն է, քանի որ սովորաբար նշանակում է, որ ռուբրիկայի սահմանումն է հստակեցման կարիք ունի, ոչ թե գնահատողներն են սխալվում։ Ժամանակի ընթացքում տարաձայնությունները պետք է լուծվեն ռուբրիկան ավելի կոնկրետ օրինակներով ճշգրտելով, ոչ թե պարզապես ընտրելով ամենահարմար գնահատողի կարծիքը։

Հետագա ընթերցանություն

Defining «Correct» in AI Systems — full case study
Ensuring Quality & Coverage in AI-Generated Questions