| item | verdict | evidence |
|---|---|---|
| greeting | yes | [mock — real evidence quotes arrive with the LLM run] |
| identity | yes | [mock — real evidence quotes arrive with the LLM run] |
| pin_security | yes | [mock — real evidence quotes arrive with the LLM run] |
| accuracy | yes | [mock — real evidence quotes arrive with the LLM run] |
| classified | yes | [mock — real evidence quotes arrive with the LLM run] |
| resolution | yes | [mock — real evidence quotes arrive with the LLM run] |
| escalation | yes | [mock — real evidence quotes arrive with the LLM run] |
| closing | yes | [mock — real evidence quotes arrive with the LLM run] |
| empathy | 4 | [mock — real evidence quotes arrive with the LLM run] |
| clarity | 5 | [mock — real evidence quotes arrive with the LLM run] |
AGENT: नमस्ते, एनसेल ग्राहक सेवामा स्वागत छ। म सुनिता बोल्दै छु। हजुरलाई कसरी सहयोग गर्न सक्छु? CUSTOMER: नमस्ते, मेरो ब्यालेन्स एकदम छिटो सकिँदै छ। कति छ अहिले हेरिदिनुस् न। AGENT: हुन्छ हजुर, म हेरिदिन्छु। तर पहिले खाता प्रमाणिकरणका लागि हजुरको एनसेल नम्बर र सिम कसको नाममा दर्ता छ भन्नुहोस् न। CUSTOMER: नम्बर ९८०२७८४५७५ हो, मेरै नाममा छ, राम बहादुर थापा। AGENT: धन्यवाद राम जी। एक सेकेन्ड है... हजुरको मुख्य ब्यालेन्स रु. ९६ पैसा ४ छ, र १.२ जीबी डाटा बाँकी छ, भोलि साँझसम्म चल्छ। CUSTOMER: ए हो र? डाटा त धेरै नै रहेछ। तर पैसा किन छिटो सकियो त? AGENT: बुझें हजुर। पछिल्लो ७ दिनको कटौती हेर्दा हजुरको नम्बरबाट काठमाडौं बाहिर कल बढी भएको देखिन्छ, प्रति मिनेट दर लाग्छ। चिन्ता नलिनुहोस्, धेरै कल गर्नुहुन्छ भने रु. ९९ मा ७ दिन अनलिमिटेड All Nepal भ्वाइस प्याक छ, त्यसले बचत हुन्छ। CUSTOMER: ए त्यो त ठिक रहेछ। कसरी लिने त्यो? AGENT: हजुरले एनसेल एपबाट किन्न सक्नुहुन्छ, वा म अहिले नै सक्रिय गरिदिन सक्छु। गरिदिऊँ? CUSTOMER: हस्, गरिदिनुस्। AGENT: सक्रिय भयो हजुर। रु. ९९ कट्यो, अब ७ दिनसम्म देशभर कल फ्री। अरू केही सहयोग चाहिन्छ? CUSTOMER: पर्दैन, धन्यवाद। AGENT: हजुरलाई धन्यवाद राम जी। ब्यालेन्स चेक गर्न *९०१# डायल गर्नुहोस्। एनसेल रोज्नुभएकोमा धन्यवाद, शुभ दिन!
| item | verdict | evidence |
|---|---|---|
| greeting | no | [mock — real evidence quotes arrive with the LLM run] |
| identity | no | [mock — real evidence quotes arrive with the LLM run] |
| pin_security | no | [mock — real evidence quotes arrive with the LLM run] |
| accuracy | no | [mock — real evidence quotes arrive with the LLM run] |
| classified | yes | [mock — real evidence quotes arrive with the LLM run] |
| resolution | no | [mock — real evidence quotes arrive with the LLM run] |
| escalation | no | [mock — real evidence quotes arrive with the LLM run] |
| closing | no | [mock — real evidence quotes arrive with the LLM run] |
| empathy | 0 | [mock — real evidence quotes arrive with the LLM run] |
| clarity | 2 | [mock — real evidence quotes arrive with the LLM run] |
AGENT: हेलो, भन्नुस्। CUSTOMER: नमस्ते, मेरो रिचार्ज कार्ड स्क्र्याच गर्दा पिन आधा मेटियो। के गर्ने होला? AGENT: कति नम्बर हो? CUSTOMER: ९८१५५३२२०७। AGENT: ल, कार्डको पिन पढेर सुनाउनुस् त, जति देखिन्छ। अनि सिमको पिन कोड पनि भन्नुस्, सिस्टममा चेक गर्नुपर्छ। CUSTOMER: सिमको पिन? १२३४ हो जस्तो लाग्छ। AGENT: हस्। कार्डको आधा पिन 5039 देखिन्छ भन्नुभयो, त्यसलाई रिचार्ज गर्दा शायद *102* बाट गर्दा हुन्छ, वा *122* हो कि। जे भए पनि ट्राइ गर्नुस्। CUSTOMER: दुवै ट्राइ गरें, भएन। अनि यो कार्ड त रु. २०० को हो नि। AGENT: त्यसो भए अर्को कार्ड किन्नुस् बरु, यसको केही हुँदैन जस्तो छ। CUSTOMER: कस्तो कुरा गर्नुभएको? मेरो २०० रुपैयाँ त गयो नि त! AGENT: के गर्ने त, मैले बनाएको हो र सिस्टम? ल है त।
| item | verdict | evidence |
|---|---|---|
| greeting | yes | [mock — real evidence quotes arrive with the LLM run] |
| identity | yes | [mock — real evidence quotes arrive with the LLM run] |
| pin_security | yes | [mock — real evidence quotes arrive with the LLM run] |
| accuracy | yes | [mock — real evidence quotes arrive with the LLM run] |
| classified | yes | [mock — real evidence quotes arrive with the LLM run] |
| resolution | yes | [mock — real evidence quotes arrive with the LLM run] |
| escalation | yes | [mock — real evidence quotes arrive with the LLM run] |
| closing | yes | [mock — real evidence quotes arrive with the LLM run] |
| empathy | 5 | [mock — real evidence quotes arrive with the LLM run] |
| clarity | 4 | [mock — real evidence quotes arrive with the LLM run] |
AGENT: नमस्ते, एनसेल ग्राहक सेवा, म विनोद बोल्दै छु। के सहयोग गर्न सक्छु हजुर? CUSTOMER: भाइ, मेरो बुबा बित्नुभयो गत महिना। उहाँको नम्बर मेरो नाममा सार्न मिल्छ कि मिल्दैन? नम्बर चालु राख्न मन छ, सम्झनाको लागि। AGENT: ओहो, दुःखद खबर। मेरो समवेदना छ हजुर। CUSTOMER: धन्यवाद भाइ। AGENT: हजुर, यस्तो अवस्थामा नम्बर स्थानान्तरणको प्रक्रिया फोनबाट गर्न मिल्दैन, कागजात प्रमाणीकरण चाहिने भएकाले। तर चिन्ता नगर्नुहोस्, म हजुरलाई हाम्रो सम्बन्धित टोलीसँग जोडिदिन्छु, उहाँहरूले के-के कागजात चाहिन्छ सबै बताउनुहुन्छ। CUSTOMER: नजिकको सेन्टरमा गए हुँदैन र? AGENT: त्यो पनि मिल्छ हजुर। मृत्यु दर्ता प्रमाणपत्र, हजुरको नागरिकता, र नाता प्रमाणित कागज लिएर नजिकको एनसेल सेन्टर जानुभयो भने उहाँहरूले प्रक्रिया अगाडि बढाउनुहुन्छ। CUSTOMER: ए हस्। कागज त सबै छ। AGENT: राम्रो हजुर। म हजुरको यो अनुरोध टिकटमा नोट गरिदिन्छु, सेन्टर जाँदा छिटो हुन्छ। नम्बर भन्नुहुन्छ? CUSTOMER: ९८०१२४५६७८। AGENT: टिकट दर्ता भयो हजुर, नम्बर सी-७७४५। अरू केही? CUSTOMER: छैन भाइ, धेरै धन्यवाद। AGENT: हजुरलाई धन्यवाद, र फेरि पनि समवेदना। सेन्टरमा कुनै समस्या परे यही नम्बरमा फोन गर्नुहोस्। नमस्ते।
| item | verdict | evidence |
|---|---|---|
| greeting | yes | [mock — real evidence quotes arrive with the LLM run] |
| identity | yes | [mock — real evidence quotes arrive with the LLM run] |
| pin_security | yes | [mock — real evidence quotes arrive with the LLM run] |
| accuracy | yes | [mock — real evidence quotes arrive with the LLM run] |
| classified | yes | [mock — real evidence quotes arrive with the LLM run] |
| resolution | yes | [mock — real evidence quotes arrive with the LLM run] |
| escalation | yes | [mock — real evidence quotes arrive with the LLM run] |
| closing | yes | [mock — real evidence quotes arrive with the LLM run] |
| empathy | 4 | [mock — real evidence quotes arrive with the LLM run] |
| clarity | 4 | [mock — real evidence quotes arrive with the LLM run] |
AGENT: नमस्ते, एनसेल ग्राहक सेवामा स्वागत छ, म प्रतिभा बोल्दै छु। के सहयोग गर्न सक्छु हजुर? CUSTOMER: नमस्ते। मैले इसेवाबाट दुई सय रुपैयाँ रिचार्ज गरेको आधा घण्टा भयो, अझै आएको छैन। AGENT: बुझें हजुर, अप्ठ्यारो भयो होला। म चेक गरिदिन्छु। पहिले हजुरको एनसेल नम्बर र सिम कसको नाममा छ भन्नुहोस् न। CUSTOMER: ९८०५६७१२३४, मेरै नाममा, सीता श्रेष्ठ। AGENT: धन्यवाद सीता जी। एकछिन है... हजुर, सिस्टममा हेर्दा इसेवाको रु. २०० को कारोबार pending देखिन्छ। कहिलेकाहीँ बैंक तर्फबाट १-२ घण्टासम्म लाग्न सक्छ। CUSTOMER: ए, त्यसो भए पैसा त हरायो होइन नि? AGENT: हराउँदैन हजुर, ढुक्क हुनुहोस्। दुई घण्टाभित्र आउँछ, आएन भने इसेवाले नै फिर्ता गर्छ। म हजुरको नम्बरमा एउटा ticket पनि बनाइदिन्छु, दुई घण्टापछि आफैं चेक हुन्छ। CUSTOMER: हस् त, त्यसो भए ठिकै छ। AGENT: टिकट नम्बर आर-४४२१ हो हजुर। ब्यालेन्स आयो कि *९०१# बाट चेक गर्न सक्नुहुन्छ। अरू केही सहयोग? CUSTOMER: छैन, धन्यवाद। AGENT: हजुरलाई धन्यवाद सीता जी, शुभ दिन!
| item | verdict | evidence |
|---|---|---|
| greeting | yes | [mock — real evidence quotes arrive with the LLM run] |
| identity | yes | [mock — real evidence quotes arrive with the LLM run] |
| pin_security | yes | [mock — real evidence quotes arrive with the LLM run] |
| accuracy | yes | [mock — real evidence quotes arrive with the LLM run] |
| classified | yes | [mock — real evidence quotes arrive with the LLM run] |
| resolution | yes | [mock — real evidence quotes arrive with the LLM run] |
| escalation | yes | [mock — real evidence quotes arrive with the LLM run] |
| closing | yes | [mock — real evidence quotes arrive with the LLM run] |
| empathy | 3 | [mock — real evidence quotes arrive with the LLM run] |
| clarity | 5 | [mock — real evidence quotes arrive with the LLM run] |
AGENT: नमस्ते, एनसेल ग्राहक सेवा, म दिपेश बोल्दै छु। कसरी सहयोग गरौं हजुर? CUSTOMER: भोलि म दुबई जाँदै छु काममा। मेरो नम्बर उतै चलाउन के गर्नुपर्छ? AGENT: राम्रो प्रश्न हजुर। विदेश जानुअघि रोमिङ सेवा सक्रिय गर्नुपर्छ। हजुरको नम्बर भन्नुहुन्छ? CUSTOMER: ९८०७७२१४५६। AGENT: र सिम हजुरकै नाममा हो? CUSTOMER: हो, मेरै नाममा। AGENT: धन्यवाद हजुर। रोमिङ सक्रिय गर्न *१७१२९# डायल गर्नुहोस्, वा एनसेल एपबाट पनि हुन्छ। युएईमा कल गर्दा प्रति मिनेट करिब ३७.७७ रुपैयाँ लाग्छ, डाटा प्रति एमबी ६.३४ रुपैयाँ। दर परिवर्तन हुन सक्छ है हजुर। CUSTOMER: डाटा त महँगो रहेछ है? AGENT: हजुर, प्रति एमबी दर महँगो पर्छ। धेरै डाटा चाहिन्छ भने दैनिक डाटा रोमिङ प्याक छ, रु. १२६.७९ बाट सुरु हुन्छ — त्यो निकै सस्तो पर्छ। जानुअघि नै *१७१२९# बाट सक्रिय गरेर जानुहोस्। CUSTOMER: हस्, बुझें। अहिले नै गर्छु। AGENT: राम्रो हजुर। बाँकी रोमिङ भोल्युम चेक गर्न *१०१# डायल गर्नुहोस्। यात्रा शुभ रहोस्! अरू केही? CUSTOMER: छैन, धन्यवाद भाइ। AGENT: धन्यवाद हजुर, शुभ यात्रा!
| item | verdict | evidence |
|---|---|---|
| greeting | yes | [mock — real evidence quotes arrive with the LLM run] |
| identity | yes | [mock — real evidence quotes arrive with the LLM run] |
| pin_security | yes | [mock — real evidence quotes arrive with the LLM run] |
| accuracy | yes | [mock — real evidence quotes arrive with the LLM run] |
| classified | yes | [mock — real evidence quotes arrive with the LLM run] |
| resolution | yes | [mock — real evidence quotes arrive with the LLM run] |
| escalation | yes | [mock — real evidence quotes arrive with the LLM run] |
| closing | yes | [mock — real evidence quotes arrive with the LLM run] |
| empathy | 4 | [mock — real evidence quotes arrive with the LLM run] |
| clarity | 5 | [mock — real evidence quotes arrive with the LLM run] |
AGENT: नमस्ते, एनसेल ग्राहक सेवामा स्वागत छ। म अनिता बोल्दै छु, भन्नुहोस् हजुर। CUSTOMER: मेरो नेट एकदमै स्लो भयो आज बिहानदेखि। अनलिमिटेड प्याक लिएको छु नि त मैले! AGENT: बुझें हजुर, स्लो हुँदा साह्रै झर्को लाग्छ। म हजुरको प्याक हेरिदिन्छु। नम्बर र नाम भन्नुहोस् न। CUSTOMER: ९८२२३३४४५५, कृष्ण गुरुङ। AGENT: धन्यवाद कृष्ण जी। हेर्दै छु... हजुरले रु. ७९९ को अनलिमिटेड सुपर भ्यालु प्याक लिनुभएको रहेछ। यसमा २०० जीबीसम्म फुल स्पिड आउँछ, त्यसपछि स्पिड २५६ केबीपीएसमा झर्छ — यसलाई FUP भनिन्छ। हजुरको २०० जीबी हिजो राति सकिएको देखिन्छ। CUSTOMER: ए! त्यसैले पो। अनलिमिटेड भनेको त झुक्याउने रहेछ त? AGENT: हजुरको कुरा बुझें। सेवा बन्द चाहिँ हुँदैन, स्पिड मात्र घट्ने हो — त्यही भएर अनलिमिटेड भनिएको। फुल स्पिड फेरि चाहिनुहुन्छ भने डाटा प्याक थप्न सक्नुहुन्छ, रु. ९९ मा १० जीबी ३ दिनको छ। CUSTOMER: हस्, त्यही थपिदिनुस् त। AGENT: हजुरको मुख्य ब्यालेन्सबाट रु. ९९ काटेर सक्रिय गरिदिएँ। अब फुल स्पिड आउँछ। अरू सहयोग हजुर? CUSTOMER: भयो, धन्यवाद। AGENT: धन्यवाद कृष्ण जी, राम्रो दिन जाओस्!
| item | verdict | evidence |
|---|---|---|
| greeting | yes | [mock — real evidence quotes arrive with the LLM run] |
| identity | yes | [mock — real evidence quotes arrive with the LLM run] |
| pin_security | yes | [mock — real evidence quotes arrive with the LLM run] |
| accuracy | no | [mock — real evidence quotes arrive with the LLM run] |
| classified | yes | [mock — real evidence quotes arrive with the LLM run] |
| resolution | no | [mock — real evidence quotes arrive with the LLM run] |
| escalation | yes | [mock — real evidence quotes arrive with the LLM run] |
| closing | no | [mock — real evidence quotes arrive with the LLM run] |
| empathy | 1 | [mock — real evidence quotes arrive with the LLM run] |
| clarity | 2 | [mock — real evidence quotes arrive with the LLM run] |
AGENT: हेलो एनसेल। CUSTOMER: नमस्ते, ३० दिने डाटा प्याक कुन-कुन छन्, भन्नुस् न। AGENT: ३० दिने? रु. ३०० मा १२ जीबी आउँछ, अनि रु. ५०० मा ३० जीबी। CUSTOMER: पक्का हो? साथीले त ३४९ भन्थ्यो १२ जीबीको। AGENT: उही हो, तीन सय जति। जे भए पनि एपबाट किन्दा देखिन्छ नि। CUSTOMER: अनि ४९९ को ३० जीबी भनेको हो कि ५००? AGENT: उस्तै त हो नि हजुर, पाँच सय राउन्ड फिगर। CUSTOMER: ल ठिक छ, म एपबाटै हेर्छु बरु। AGENT: हस्।
| item | verdict | evidence |
|---|---|---|
| greeting | no | [mock — real evidence quotes arrive with the LLM run] |
| identity | no | [mock — real evidence quotes arrive with the LLM run] |
| pin_security | yes | [mock — real evidence quotes arrive with the LLM run] |
| accuracy | yes | [mock — real evidence quotes arrive with the LLM run] |
| classified | yes | [mock — real evidence quotes arrive with the LLM run] |
| resolution | yes | [mock — real evidence quotes arrive with the LLM run] |
| escalation | yes | [mock — real evidence quotes arrive with the LLM run] |
| closing | yes | [mock — real evidence quotes arrive with the LLM run] |
| empathy | 2 | [mock — real evidence quotes arrive with the LLM run] |
| clarity | 3 | [mock — real evidence quotes arrive with the LLM run] |
AGENT: नमस्ते एनसेल, म राजु बोल्दै छु। CUSTOMER: भाइ, ९८०९९८८७७६ को ब्यालेन्स कति छ हेरिदिनुस् त। AGENT: एकछिन... रु. ४५२ छ हजुर, अनि ५ जीबी डाटा बाँकी छ, १२ दिन चल्छ। CUSTOMER: ए धेरै रहेछ। अनि यो नम्बरमा पछिल्लो रिचार्ज कहिले भएको थियो? AGENT: पर्सि रु. ५०० को भएको रहेछ, इसेवाबाट। CUSTOMER: ल ल, बुझें। साथीको नम्बर हो यो, उसलाई भन्दिन्छु। AGENT: हुन्छ हजुर। अरू केही? CUSTOMER: छैन। AGENT: ल धन्यवाद, नमस्ते।
| item | verdict | evidence |
|---|---|---|
| greeting | yes | [mock — real evidence quotes arrive with the LLM run] |
| identity | yes | [mock — real evidence quotes arrive with the LLM run] |
| pin_security | yes | [mock — real evidence quotes arrive with the LLM run] |
| accuracy | yes | [mock — real evidence quotes arrive with the LLM run] |
| classified | yes | [mock — real evidence quotes arrive with the LLM run] |
| resolution | yes | [mock — real evidence quotes arrive with the LLM run] |
| escalation | yes | [mock — real evidence quotes arrive with the LLM run] |
| closing | yes | [mock — real evidence quotes arrive with the LLM run] |
| empathy | 5 | [mock — real evidence quotes arrive with the LLM run] |
| clarity | 4 | [mock — real evidence quotes arrive with the LLM run] |
AGENT: नमस्ते, एनसेल ग्राहक सेवामा स्वागत छ, म सन्ध्या बोल्दै छु। भन्नुहोस् हजुर। CUSTOMER: के भन्नु! मेरो पोस्टपेड बिल यो महिना ४ हजार आयो! जहिले २ हजार आउँथ्यो। यो त लुटपाट भयो नि! AGENT: ओहो, बुझ्छु हजुर — अचानक दुई गुणा बिल आउँदा रिस उठ्नु स्वाभाविक हो। म राम्ररी हेरेर बुझाउँछु है। नम्बर र नाम भन्नुहोस् न। CUSTOMER: ९८०३४५६७८९, दीपक अधिकारी। छिटो गर्नुस्। AGENT: हुन्छ दीपक जी। हेर्दै छु... हजुरको बिलमा यो महिना अन्तर्राष्ट्रिय कलतर्फ रु. १८०० देखिन्छ — भारततर्फका कलहरू, जम्मा ४५ मिनेट। CUSTOMER: भारत? मैले भारत फोनै गरेको छैन! कसैले मेरो नम्बर चोरेर गर्यो होला। म यो पैसा तिर्दिनँ। AGENT: हजुरले नगर्नुभएको कल बिलमा आउनु गम्भीर कुरा हो, म मान्छु। यस्तो billing dispute को छानबिन मेरो तहबाट हुँदैन — यसका लागि हाम्रो billing टोलीले कल रेकर्ड विवरणसहित छानबिन गर्नुपर्छ। म अहिले नै हजुरको dispute दर्ता गरिदिन्छु। CUSTOMER: कति दिन लाग्छ त्यसमा? AGENT: ३ देखि ५ कार्य दिन लाग्छ हजुर। टिकट नम्बर बी-७७३० हो। छानबिन नसकिँदासम्म यो रु. १८०० को भुक्तानी pending राखिन्छ, लाइन काटिँदैन, ढुक्क हुनुहोस्। नतिजा एसएमएसबाट आउँछ, नआए यही नम्बरमा फोन गर्नुहोस्। CUSTOMER: हस् त, त्यसो भए हेरौं। धन्यवाद। AGENT: हजुरलाई धन्यवाद दीपक जी। दुःखको लागि माफी चाहन्छु, छिटै समाधान होस्। नमस्ते।
| item | verdict | evidence |
|---|---|---|
| greeting | no | [mock — real evidence quotes arrive with the LLM run] |
| identity | yes | [mock — real evidence quotes arrive with the LLM run] |
| pin_security | yes | [mock — real evidence quotes arrive with the LLM run] |
| accuracy | no | [mock — real evidence quotes arrive with the LLM run] |
| classified | yes | [mock — real evidence quotes arrive with the LLM run] |
| resolution | no | [mock — real evidence quotes arrive with the LLM run] |
| escalation | no | [mock — real evidence quotes arrive with the LLM run] |
| closing | no | [mock — real evidence quotes arrive with the LLM run] |
| empathy | 0 | [mock — real evidence quotes arrive with the LLM run] |
| clarity | 2 | [mock — real evidence quotes arrive with the LLM run] |
AGENT: नमस्ते एनसेल, म मनोज। CUSTOMER: मेरो ब्यालेन्सबाट हिजो राति ५० रुपैयाँ आफैं काटियो! केको पैसा हो यो? AGENT: नम्बर? CUSTOMER: ९८१८७६५४३२, मेरै नाममा छ, गीता तामाङ। AGENT: हेरें। कुनै VAS सेवा सक्रिय भएको छ, त्यसैको हो। हजुरले आफैं सक्रिय गर्नुभएको होला। CUSTOMER: मैले केही गरेको छैन! आफैं कसरी सक्रिय हुन्छ? AGENT: आफैं हुँदैन नि हजुर। कुनै लिंक थिच्नुभयो होला, वा घरका कसैले गरे होलान्। ग्राहकहरूले आफैंले गरेर हामीलाई दोष दिने गर्नुहुन्छ धेरैले। CUSTOMER: कस्तो कुरा गरेको? मलाई त्यो सेवा नै चाहिँदैन, बन्द गरेर पैसा फिर्ता गर्नुस्। AGENT: बन्द त गरिदिन्छु, तर पैसा फिर्ता हुँदैन। नियम त्यस्तै छ। CUSTOMER: कुन नियम? मलाई देखाउनुस् त्यो नियम! सुपरभाइजरसँग कुरा गराउनुस्। AGENT: सुपरभाइजरले पनि यही भन्नुहुन्छ। सेवा बन्द गरिदिएँ, अब काटिँदैन। अरू केही? CUSTOMER: तपाईंको नाम के रे? म गुनासो हाल्छु। AGENT: हाल्नुस् न त। ल, नमस्ते।
| item | verdict | evidence |
|---|---|---|
| greeting | yes | [mock — real evidence quotes arrive with the LLM run] |
| identity | yes | [mock — real evidence quotes arrive with the LLM run] |
| pin_security | yes | [mock — real evidence quotes arrive with the LLM run] |
| accuracy | yes | [mock — real evidence quotes arrive with the LLM run] |
| classified | yes | [mock — real evidence quotes arrive with the LLM run] |
| resolution | yes | [mock — real evidence quotes arrive with the LLM run] |
| escalation | yes | [mock — real evidence quotes arrive with the LLM run] |
| closing | yes | [mock — real evidence quotes arrive with the LLM run] |
| empathy | 4 | [mock — real evidence quotes arrive with the LLM run] |
| clarity | 5 | [mock — real evidence quotes arrive with the LLM run] |
AGENT: नमस्ते, एनसेल ग्राहक सेवा, म प्रकाश बोल्दै छु। How may I help you हजुर? CUSTOMER: Hi, actually मलाई एउटा query थियो। I'm using prepaid right now, but मेरो monthly usage एकदम high छ। Postpaid मा switch गर्दा better हुन्छ कि? AGENT: Sure हजुर, राम्रो प्रश्न। पहिले हजुरको number दिनुहुन्छ, usage हेरेर suggest गर्छु? CUSTOMER: 9803214567, my own name — Anish Maharjan. AGENT: Thank you अनिश जी। हेर्दै छु... हजुरको monthly average करिब रु. २२०० देखिन्छ — data heavy, calls पनि धेरै। CUSTOMER: Exactly, त्यही भएर। AGENT: यो usage मा postpaid को रु. १९९९ plan राम्रो फिट हुन्छ — unlimited calls, 60 GB data, monthly bill fixed। Prepaid to postpaid conversion एनसेल App बाटै request गर्न मिल्छ, वा नजिकको Ncell Centre बाट पनि हुन्छ, citizenship र photo लिएर जानुहोस्। CUSTOMER: App बाट गर्दा कति दिन लाग्छ? AGENT: Normally १-२ working days हजुर। Conversion हुँदा current balance पनि carry हुन्छ, चिन्ता नगर्नुहोस्। CUSTOMER: Perfect, म App बाट apply गर्छु त्यसो भए। Thank you! AGENT: You're welcome अनिश जी! Conversion मा कुनै issue आए हामीलाई फोन गर्नुहोस्। अरू केही सहयोग? CUSTOMER: No, that's all. AGENT: धन्यवाद हजुर, have a great day!
| item | verdict | evidence |
|---|---|---|
| greeting | yes | [mock — real evidence quotes arrive with the LLM run] |
| identity | yes | [mock — real evidence quotes arrive with the LLM run] |
| pin_security | yes | [mock — real evidence quotes arrive with the LLM run] |
| accuracy | yes | [mock — real evidence quotes arrive with the LLM run] |
| classified | yes | [mock — real evidence quotes arrive with the LLM run] |
| resolution | yes | [mock — real evidence quotes arrive with the LLM run] |
| escalation | yes | [mock — real evidence quotes arrive with the LLM run] |
| closing | yes | [mock — real evidence quotes arrive with the LLM run] |
| empathy | 5 | [mock — real evidence quotes arrive with the LLM run] |
| clarity | 4 | [mock — real evidence quotes arrive with the LLM run] |
AGENT: नमस्ते, एनसेल ग्राहक सेवामा स्वागत छ, म सृजना बोल्दै छु। भन्नुहोस् हजुर। CUSTOMER: दिदी, मेरो फोन हिजो बसमा हरायो। सिम कार्ड त्यसैमा थियो। कसैले दुरुपयोग गर्ला भन्ने डर लाग्यो। AGENT: ओहो, फोन हराउँदा साह्रै तनाव हुन्छ हजुर, बुझ्छु। सबैभन्दा पहिले सिम ब्लक गर्नु सुरक्षित हुन्छ। हराएको नम्बर कति हो? CUSTOMER: ९८०२९८७६५४ हो। AGENT: र त्यो सिम कसको नाममा दर्ता छ हजुर? CUSTOMER: मेरो नाममा, रमेश कार्की। AGENT: धन्यवाद रमेश जी। सुरक्षाका लागि सिम ब्लक जस्तो काम फोनबाट मात्र गर्न मिल्दैन — हजुरको पहिचान प्रमाणीकरण चाहिन्छ। नजिकको एनसेल सेन्टर वा एनसेल पसलमा नागरिकता लिएर जानुहोस्, उहाँहरूले तुरुन्तै ब्लक गरेर सोही नम्बरको नयाँ सिम पनि दिनुहुन्छ। CUSTOMER: अहिले साँझ भइसक्यो, भोलि बिहानसम्म केही होला त? AGENT: चिन्ता स्वाभाविक हो हजुर। हजुरको फोनमा लक छ भने जोखिम कम हुन्छ। म हजुरको यो गुनासो नोट गरिदिन्छु — टिकट एस-५५०९ — भोलि सेन्टरमा जाँदा काम छिटो हुन्छ। साथै ठूलै रकमको ब्यालेन्स छ भने पनि नआत्तिनुहोस्, सिम फेर्दा ब्यालेन्स सुरक्षित रहन्छ। CUSTOMER: हस् दिदी, भोलि बिहानै जान्छु। धन्यवाद। AGENT: हुन्छ रमेश जी। फोन चाँडै भेटियोस्, शुभकामना। अरू केही सहयोग? CUSTOMER: छैन, धन्यवाद। AGENT: धन्यवाद हजुर, नमस्ते।
| item | verdict | evidence |
|---|---|---|
| greeting | yes | [mock — real evidence quotes arrive with the LLM run] |
| identity | yes | [mock — real evidence quotes arrive with the LLM run] |
| pin_security | yes | [mock — real evidence quotes arrive with the LLM run] |
| accuracy | no | [mock — real evidence quotes arrive with the LLM run] |
| classified | yes | [mock — real evidence quotes arrive with the LLM run] |
| resolution | no | [mock — real evidence quotes arrive with the LLM run] |
| escalation | yes | [mock — real evidence quotes arrive with the LLM run] |
| closing | no | [mock — real evidence quotes arrive with the LLM run] |
| empathy | 1 | [mock — real evidence quotes arrive with the LLM run] |
| clarity | 2 | [mock — real evidence quotes arrive with the LLM run] |
AGENT: नमस्ते, एनसेल ग्राहक सेवा, म कमल बोल्दै छु। भन्नुहोस्। CUSTOMER: नमस्ते, मेरो डाटा कति बाँकी छ चेक गर्न मिल्छ? AGENT: हजुरको नम्बर? CUSTOMER: ९८१२१२१२१२, मेरै नाममा छ, सुजन राई। AGENT: एकछिन है हजुर... अँ, यो त मैले हेर्न मिल्ने खालको देखिएन। हजुरको account अलि फरक type को छ जस्तो छ। म हजुरलाई हाम्रो टेक्निकल टिममा ट्रान्सफर गरिदिन्छु, उहाँहरूले भन्नुहुन्छ। CUSTOMER: डाटा बाँकी चेक गर्न पनि ट्रान्सफर चाहिन्छ र? *901# बाट आफैं हेर्न मिल्दैन? AGENT: अँ त्यो पनि मिल्छ होला। तर पक्का नहुने भएकाले टिममै सोध्नुस् बरु। ट्रान्सफर गर्दिएँ है। CUSTOMER: ला... हस् त। AGENT: ल है, नमस्ते।
| item | verdict | evidence |
|---|---|---|
| greeting | yes | [mock — real evidence quotes arrive with the LLM run] |
| identity | yes | [mock — real evidence quotes arrive with the LLM run] |
| pin_security | yes | [mock — real evidence quotes arrive with the LLM run] |
| accuracy | yes | [mock — real evidence quotes arrive with the LLM run] |
| classified | yes | [mock — real evidence quotes arrive with the LLM run] |
| resolution | yes | [mock — real evidence quotes arrive with the LLM run] |
| escalation | yes | [mock — real evidence quotes arrive with the LLM run] |
| closing | yes | [mock — real evidence quotes arrive with the LLM run] |
| empathy | 5 | [mock — real evidence quotes arrive with the LLM run] |
| clarity | 5 | [mock — real evidence quotes arrive with the LLM run] |
AGENT: नमस्ते, एनसेल ग्राहक सेवामा स्वागत छ, म रोशनी बोल्दै छु। के सहयोग गर्न सक्छु? CUSTOMER: दिदी, मेरो ब्यालेन्स सकियो, रिचार्ज गर्ने पैसा पनि अहिले छैन। जरुरी कल गर्नु छ। केही उपाय छ? AGENT: छ हजुर, चिन्ता नगर्नुहोस् — एनसेल सापटी सेवा छ, आपतकालीन ऋण जस्तै। हजुरको नम्बर भन्नुहोस् न पहिले। CUSTOMER: ९८०५४३२१९८, मेरै नाममा, मीना लामा। AGENT: धन्यवाद मीना जी। हजुरको सिम ३० दिनभन्दा पुरानो छ, सापटी पाउनुहुन्छ। *९९८८# डायल गर्नुहोस् — रु. ४० को ब्यालेन्स सापटी लिन सक्नुहुन्छ, सेवा शुल्क रु. २.४८ लाग्छ। CUSTOMER: त्यो पैसा कहिले तिर्ने त? AGENT: अर्को पटक रिचार्ज गर्दा सापटी रकम र शुल्क आफैं कटेर जान्छ हजुर। भ्वाइस सापटी पनि छ — रु. ५० मा १०० मिनेट ३ दिनलाई, त्यो पनि *९९८८# बाटै। CUSTOMER: अहिलेलाई ब्यालेन्स सापटी नै लिन्छु। *९९८८# हो है? AGENT: हजुर, स्टार नौ नौ आठ आठ ह्यास। डायल गरेपछि मेनुबाट रोज्नुहोस्। CUSTOMER: भयो दिदी, धन्यवाद! AGENT: धन्यवाद मीना जी। जरुरी काम राम्रोसँग सकियोस्। नमस्ते!
| item | verdict | evidence |
|---|---|---|
| greeting | yes | [mock — real evidence quotes arrive with the LLM run] |
| identity | yes | [mock — real evidence quotes arrive with the LLM run] |
| pin_security | yes | [mock — real evidence quotes arrive with the LLM run] |
| accuracy | yes | [mock — real evidence quotes arrive with the LLM run] |
| classified | yes | [mock — real evidence quotes arrive with the LLM run] |
| resolution | yes | [mock — real evidence quotes arrive with the LLM run] |
| escalation | yes | [mock — real evidence quotes arrive with the LLM run] |
| closing | no | [mock — real evidence quotes arrive with the LLM run] |
| empathy | 4 | [mock — real evidence quotes arrive with the LLM run] |
| clarity | 3 | [mock — real evidence quotes arrive with the LLM run] |
AGENT: Namaste, Ncell customer care, Prakash speaking. How can I help you? CUSTOMER: Hi, yes. I just arrived in Kathmandu yesterday. I bought a tourist SIM at the airport but the data seems very slow today. AGENT: Okay. Which tourist pack did you take, sir? CUSTOMER: The one-week one. Sprinter, I think? 595 rupees. AGENT: TouristPro Sprinter, yes. Sir, that pack has unlimited data but after the high-speed quota is used, speed reduces. That is the policy. CUSTOMER: Ah, I see. Can I top it up or upgrade to get full speed back? AGENT: You can buy the 14-day Explorer pack, 995 rupees, from any Ncell shop. Or recharge and take a data pack from the app. CUSTOMER: Which one do you recommend? AGENT: Up to you sir. Explorer is fine if you stay two weeks. CUSTOMER: Okay. And can I do it from this phone directly? AGENT: Recharge first, then dial *123#. Or go to a shop with your passport. CUSTOMER: Alright, I'll try that. Thanks. AGENT: Welcome. Bye.