Վերջին տարիներին ծրագրավորողներն ավելի ու ավելի են դիմել չաթ-բոտերի օգնությանը, ինչպիսին է OpenAI-ի ChatGPT-ը: Ըստ Purdue University-ի ուսումնասիրության, որը ներկայացված է Computer-Human Interaction համաժողովին, ChatGPT-ը լավագույն օգնականը չէ: Պարզվեց, որ նրա ծրագրավորման պատասխանների կեսից ավելին սխալ էր։ Գիտնականները վերցրել են ավելի քան 517 հարց Stack Overflow-ից, դրանք ուղղել ChatGPT-ին և վերլուծել դրա պատասխանները:

Ահա թե ինչ են նրանք գտել.

Պատասխանների 52%-ը ապատեղեկատվություն է պարունակում։

77%-ն ավելի խոսուն է, քան մարդկային պատասխանները:

78%-ն այս կամ այն չափով անհամապատասխան է մարդկային արձագանքներին:

Հետազոտողները նաև հարցում են անցկացրել 12 ծրագրավորողների շրջանում և պարզել, որ նրանք 35% դեպքերում նախընտրում են ChatGPT-ն և 39% դեպքերում դրա պատասխաններում սխալներ չեն նկատել: Հնարավոր պատճառը չաթբոտի հաղորդակցման ոճն է։ ChatGPT-ի 2000 պատահականորեն ընտրված պատասխանների լեզվաբանական վերլուծությունը պարզել է, որ դրանք «ավելի ֆորմալ և վերլուծական» են և նաև արտացոլում են «ավելի քիչ բացասական տրամադրություններ»: Հետևյալ կիսակառույց հարցազրույցները ցույց տվեցին, որ քաղաքավարի լեզուն, հստակ ձևակերպված դասագրքերի պատասխանները և ամբողջականությունը հիմնական պատճառներից էին, թե ինչու ChatGPT-ի պատասխաններն ավելի համոզիչ էին թվում՝ ստիպելով մասնակիցներին թուլացնել իրենց զգոնությունը և անտեսել ապատեղեկատվությունը: Արդյունքները ցույց են տալիս, որ ChatGPT-ն դեռևս լուրջ թերություններ ունի։