शब्दों से निर्देशांकों तक

निकटता समानता का प्रतीक है

Embedding संख्याओं की सूची (vector) है जो किसी item, जैसे वाक्य, दस्तावेज़, image या उत्पाद, को दर्शाती है, ताकि समान अर्थ वाले items के vectors पास-पास हों और असंबंधित items के vectors दूर। कंप्यूटर दो वाक्यों के अर्थ की सीधे तुलना नहीं कर सकते, पर संख्याओं की दो सूचियों की तुलना तेज़ी से कर सकते हैं। पाठ embed होने पर semantic search ("छुट्टियों वाले अंश खोजो भले vacation लिखा हो"), recommendation, clustering, duplicate पहचान, वर्गीकरण और LLMs के लिए retrieval (RAG) जैसे कार्य ज्यामिति बन जाते हैं: निकटतम vectors खोजो। आम पाठ embeddings में कुछ सौ से कुछ हज़ार आयाम होते हैं।

अर्थ अंतरिक्ष में एक बिंदु के रूप में

Embedding पाठ, images या अन्य items को vector से map करता है ताकि समान items पास-पास रहें।

विचारों का नक़्शा

शहर के नक़्शे में पास की जगहें असल में पास होती हैं। Embedding अर्थ का नक़्शा है: leave वाले वाक्य एक मोहल्ले में और travel वाले दूसरे में।

Embeddings पाठ नहीं हैं

Vector को वापस ठीक उसी पाठ में नहीं बदला जा सकता। हमेशा मूल पाठ (या उसका संकेतक) vector के साथ रखें।

त्वरित जाँच: समान अर्थ वाले दो वाक्यों के embeddings के बारे में क्या सही होना चाहिए?

• उनके vectors दूर हों
• उनके vectors समान हों
• उनके vectors पास-पास हों
• उनकी अक्षर-लंबाई समान हो