आपके डेटा पर AI

सेवा में क्या शामिल है

हम एक AI-असिस्टेंट बनाते हैं, जो आपकी कंपनी के कॉर्पोरेट दस्तावेज़ों, नॉलेज बेस, नियमावलियों और चैट आर्काइव के आधार पर सवालों का जवाब देता है। «आपके डेटा पर AI» सेवा से मतलब है पूरा चक्र: स्रोतों को इकट्ठा और साफ़ करना, टेक्स्ट को अंशों में काटना, वेक्टर इंडेक्स बनाना, भाषा मॉडल और कर्मचारियों के लिए वेब इंटरफ़ेस या बॉट जोड़ना। हम सॉफ्टवेयर वाला हिस्सा लिखते हैं और डेटा प्रोसेसिंग की पाइपलाइन सेट करते हैं, किसी और के कंटेंट से भरा बना-बनाया डिब्बा नहीं बेचते। अगर तंत्र में ग्राहक का उपकरण है — सर्वर, GPU-स्टेशन या ऑपरेटरों के वर्कस्टेशन — तो हम इस हार्डवेयर के लिए सॉफ्टवेयर और कॉन्फ़िगरेशन तैयार करते हैं, पर उपकरण ख़ुद आपका रहता है और भौतिक रूप से आपकी तरफ़ काम करता है। नतीजे में आपको एक ऐसी प्रणाली मिलती है जो आपकी फ़ाइलों से तथ्यों के आधार पर जवाब देती है, इंटरनेट से ली गई सामान्य बातों से नहीं।

मूल रूप से RAG कैसे काम करता है

इसकी बुनियाद RAG (retrieval-augmented generation) स्कीम है — खोजे गए दस्तावेज़ों के आधार पर जवाब बनाना। पहले आपके सारे टेक्स्ट एम्बेडिंग मॉडल के ज़रिए संख्यात्मक वेक्टर में बदले जाते हैं और एक वेक्टर डेटाबेस में रखे जाते हैं, जहाँ अर्थ में क़रीबी अंश पास-पास रहते हैं। जब कोई कर्मचारी सवाल पूछता है, सिस्टम उसे भी वेक्टर में बदलता है, सबसे प्रासंगिक कई टेक्स्ट टुकड़े ढूँढता है और उन्हें सवाल के साथ भाषा मॉडल को भेजता है। मॉडल जवाब सख़्ती से भेजे गए अंशों के आधार पर बनाता है, न कि उस आधार पर जो उसने कभी किसी और के डेटा पर सीखा था। ऐसा तरीक़ा स्रोतों के लिंक देता है और तथ्य गढ़ने को बहुत कम कर देता है, क्योंकि जवाब आपके दस्तावेज़ों के ठोस अनुच्छेदों से जुड़ा होता है।

RAG कहाँ से आया

RAG शब्द और स्कीम 2020 में «Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks» शोध-पत्र में पेश किए गए, जिसके लेखक पैट्रिक लुइस और Facebook AI Research, University College London तथा न्यूयॉर्क यूनिवर्सिटी के सहयोगी थे। यह शोध-पत्र NeurIPS 2020 सम्मेलन में प्रस्तुत हुआ और दिखाया कि डेटाबेस खोज और जनरेटिव मॉडल का मेल अकेले मॉडल की तुलना में ज़्यादा सटीक और तथ्यपरक जवाब देता है। यह विचार वेक्टर खोज के पुराने इतिहास पर टिका है: शब्दों को संख्यात्मक वेक्टर में दर्शाना 2013 में Google में तोमाश मिकोलोव की टीम के word2vec के आने के बाद चलन में आया। 2020 तक एम्बेडिंग और भाषा मॉडल की गुणवत्ता इतनी बढ़ गई कि खोज और जनरेशन को एक ही पाइपलाइन में जोड़ना व्यावहारिक हो गया। आज यही स्कीम अपने डेटा पर बने ज़्यादातर कॉर्पोरेट असिस्टेंट की बुनियाद है।

सटीकता क्यों अहम है

कॉर्पोरेट असिस्टेंट बेकार है, अगर वह आत्मविश्वास से ग़लत आँकड़े देता है या नियमावली के ऐसे बिंदु गढ़ता है जो हैं ही नहीं। यहाँ सटीकता मॉडल के जादू से नहीं, बल्कि इंजीनियरिंग सेटअप से तय होती है: दस्तावेज़ कैसे काटे गए, कौन-सा एम्बेडिंग मॉडल चुना गया, संदर्भ में कितने अंश दिए जाते हैं और अप्रासंगिक को कैसे छाँटा जाता है। निजता भी सॉफ्टवेयर वाले हिस्से से जुड़ी है: «आपके डेटा पर AI» के डेटा को आपके तंत्र में रखा जा सकता है, बाहरी सेवाओं को भेजे बिना, और भूमिकाओं के हिसाब से एक्सेस बाँटा जा सकता है। पाइपलाइन में कोई भी ग़लती तुरंत नहीं दिखती, इसलिए हम प्रणाली को असली सवालों पर चलाते हैं और लाइव लॉन्च से पहले जवाब जाँचते हैं। असिस्टेंट की गुणवत्ता सॉफ्टवेयर और पैरामीटर की डिबगिंग का नतीजा है, किसी एक-बार वाली इंस्टॉलेशन का नहीं।

स्टैक और टूल्स

बुनियादी स्टैक — RAG, वेक्टर डेटाबेस, एम्बेडिंग और भाषा मॉडल (LLM), जो एक ही पाइपलाइन में जुड़े हैं। वेक्टर डेटाबेस हम मात्रा और प्लेसमेंट की शर्तों के हिसाब से चुनते हैं: यह pgvector एक्सटेंशन वाला PostgreSQL हो सकता है, स्थानीय इंडेक्स के लिए FAISS, या Qdrant और Milvus जैसे विशेष स्टोरेज। एम्बेडिंग मॉडल और ख़ुद LLM को हम सटीकता, गति और निजता के संतुलन से चुनते हैं — क्लाउड API से लेकर ग्राहक के उपकरण पर स्थानीय रूप से डिप्लॉय किए मॉडल तक। सॉफ्टवेयर वाला हिस्सा हम Python पर क्वेरी ऑर्केस्ट्रेशन, दस्तावेज़ प्रोसेसिंग और जवाबों की गुणवत्ता नियंत्रण की लाइब्रेरियों के साथ लिखते हैं। स्टैक आपके कार्य के हिसाब से चुना जाता है, उल्टा नहीं: अगर डेटा बाहर नहीं भेजा जा सकता, तो पूरी श्रृंखला आपके तंत्र में रहती है।

मुख्य टूल्स कब सामने आए

आधुनिक स्टैक कुछ आधार-तारीख़ों से विकसित हुआ। शब्दों के वेक्टर निरूपण 2013 में word2vec (मिकोलोव और सहयोगी, Google) के बाद व्यापक हुए। वेक्टर पर तेज़ खोज की FAISS लाइब्रेरी Facebook AI Research ने मार्च 2017 में जारी की और यह आज भी स्थानीय इंडेक्स के रूप में इस्तेमाल होती है। दिसंबर 2017 में Google के शोधकर्ताओं के «Attention Is All You Need» शोध-पत्र में ट्रांसफ़ॉर्मर आर्किटेक्चर आया, और अक्टूबर 2018 में उसके आधार पर BERT मॉडल आया, जिससे एम्बेडिंग और भाषा मॉडल की व्यावहारिक गुणवत्ता शुरू हुई। इन्हीं ईंटों पर 2020 में RAG स्कीम जुटी, जिसे हम इस सेवा में इस्तेमाल करते हैं।

यह काम हमारे पास क्यों

हमारी डेवलपमेंट टीम का कुल अनुभव IT में 45 साल से ज़्यादा है, और असिस्टेंट को हम एक इंजीनियरिंग प्रणाली की तरह लेते हैं, किसी एक-बार दिखाने वाले डेमो की तरह नहीं। हम हार्डवेयर नहीं बनाते और डिब्बे प्रिंट नहीं करते — हम सॉफ्टवेयर वाला हिस्सा लिखते हैं और ग्राहक के उपकरण को किसी ठोस कार्य के हिसाब से सेट करते हैं, चाहे वह स्थानीय सर्वर हो या आपके तंत्र में कोई GPU-स्टेशन। लाइव लॉन्च से पहले प्रणाली आपके असली सवालों पर जाँची जाती है: हम देखते हैं कि हर जवाब कहाँ से आता है, और कर्मचारियों के इस्तेमाल शुरू करने से पहले ही पाइपलाइन ठीक कर लेते हैं। «आपके डेटा पर AI» सेवा पारदर्शी ढंग से बनती है — आप जवाबों के स्रोत देखते हैं और नियंत्रित करते हैं कि कौन-सा डेटा कहाँ जाता है। इसका मतलब है एक पूर्वानुमेय नतीजा और ऐसी प्रणाली जिसे आगे विकसित किया जा सके, कोई एक-बार वाली इंस्टॉलेशन नहीं।