Report by : विनय भट
चेन्नई। भारतीय प्रौद्योगिकी संस्थान (IIT) मद्रास के अनुसंधान केंद्र AI4Bharat ने भारतीय भाषाओं और संदर्भों में काम करने वाले एआई मॉडल्स की क्षमता मापने के लिए एक नया ओपन-सोर्स बेंचमार्क टेस्ट लॉन्च किया है।
गूगल क्लाउड के सहयोग से विकसित यह टेस्ट, Indic LLM-Arena, एक क्राउड-सोर्स्ड प्लेटफ़ॉर्म है जो हजारों अनाम उपयोगकर्ताओं द्वारा दिए गए वोट्स के आधार पर एआई मॉडलों का मूल्यांकन करता है। इन वोट्स के आधार पर मॉडल्स को “ह्यूमन-इन-द-लूप” लीडरबोर्ड पर रैंक किया जाता है।
AI4Bharat के अनुसार, यह प्लेटफ़ॉर्म फिलहाल केवल टेक्स्ट-आधारित इनपुट को सपोर्ट करता है और कई भारतीय भाषाओं के साथ कोड-मिक्स परिदृश्यों — जैसे हिंग्लिश और टैंगलिश — में काम करता है। संस्था का कहना है कि आगे चलकर इस बेंचमार्क को विज़न, ऑडियो और एआई एजेंट्स वाले ओमनी-मॉडल्स तक विस्तारित किया जाएगा।
AI4Bharat के एक शोधकर्ता ने बताया, “हमारा उद्देश्य केवल 22 भाषाओं का अनुवाद करना नहीं है, बल्कि भारतीयों के स्वाभाविक संचार के तरीके को समझना है। भारत में लोग अक्सर एक ही वाक्य में दो या अधिक भाषाओं का प्रयोग करते हैं, और यही एआई के लिए असली चुनौती है।”
इस परियोजना के तहत सभी डेटा, कोड और पाइपलाइन्स को ओपन-सोर्स लाइसेंस के तहत सार्वजनिक किया जाएगा ताकि शोधकर्ता और डेवलपर्स इन्हें और बेहतर बना सकें।
यह पहल ऐसे समय पर आई है जब भारतीय एआई डेवलपर्स लगातार यह मांग कर रहे थे कि स्थानीय भाषाओं के लिए उपयुक्त और निष्पक्ष बेंचमार्क प्लेटफ़ॉर्म उपलब्ध कराया जाए। हाल ही में OpenAI ने भी अपना भारतीय भाषाओं पर केंद्रित टेस्ट IndQA लॉन्च किया था, जिसमें 12 भाषाओं और 10 सांस्कृतिक क्षेत्रों से जुड़े 2,200 से अधिक प्रश्न शामिल हैं।
AI4Bharat का मानना है कि Indic LLM-Arena भारतीय स्टार्टअप्स और शोधकर्ताओं के लिए उपयोगी साबित होगा। इससे उन्हें यह समझने में मदद मिलेगी कि उनके मॉडल भारतीय भाषाओं और संदर्भों में दूसरों की तुलना में कितना बेहतर प्रदर्शन कर रहे हैं।
परीक्षण की प्रक्रिया भी काफी पारदर्शी रखी गई है। उपयोगकर्ता किसी भी भाषा में प्रॉम्प्ट दर्ज करता है, जिसके बाद प्लेटफ़ॉर्म दो अनाम मॉडलों (जैसे Model A और Model B) के उत्तर प्रस्तुत करता है। उपयोगकर्ता तय करता है कि कौन-सा उत्तर बेहतर है या दोनों बराबर हैं। हजारों ऐसे वोट्स के बाद, Bradley-Terry सांख्यिकीय मॉडल के माध्यम से मॉडल्स की रैंकिंग तैयार की जाती है।
AI4Bharat आने वाले महीनों में एक अपडेटेड पब्लिक लीडरबोर्ड जारी करने की योजना बना रहा है, जिसमें सांख्यिकीय अनिश्चितताओं को दूर किया जाएगा। साथ ही, संस्था विभिन्न भाषाओं, विषयों और कार्यों के आधार पर अलग-अलग लीडरबोर्ड पेश करने की भी तैयारी कर रही है।
