LinkedIn оновив алгоритм і пояснив, як працює пошук на платформі

Нарешті платформа пояснила, як працює пошук в LinkedIn.

LinkedIn постійно вдосконалює свої інструменти для поліпшення користувацького досвіду, і нещодавно платформа представила нові можливості семантичного пошуку. Ці зміни були розроблені для того, щоб забезпечити більш точний і релевантний пошук контенту, враховуючи не тільки ключові слова, але й загальний зміст запиту.

Покращення пошуку в LinkedIn: від ключових слів до семантики

Згідно з поясненням LinkedIn: «Проаналізувавши наші можливості, ми побачили, що могли б покращити результати пошуку контенту для складних запитів. Іноді ми не знаходили жодних публікацій, оскільки вони не містили всіх ключових слів із запиту, або ж знаходили публікації, які містили всі ключові слова, але не відповідали на запитання через відсутність концептуального розуміння запиту. Проте наш аналіз показав, що в нашому індексі пошуку часто були публікації, які могли б дати правильну відповідь, навіть якщо вони не містили всіх ключових слів із запиту. Це спонукало нас впровадити можливість семантичного пошуку в нашій системі пошуку контенту.»

Це оновлення дозволило LinkedIn більш ефективно розуміти і відповідати на запити користувачів, враховуючи не лише ключові слова, але й концепції, а також персоналізацію на основі попередньої взаємодії користувача.

Результати: значні покращення у знаходженні контенту

Новий пошуковий двигун з семантичною можливістю в LinkedIn дозволив відповідати на складні запити, такі як «як попросити підвищення зарплати?», і поліпшив відповідність тематики та час взаємодії з контентом більш ніж на 10%.

Це також позитивно вплинуло на загальну кількість сеансів в LinkedIn, оскільки користувачі тепер частіше взаємодіють із платформою, отримуючи більш релевантні результати пошуку.

Як працює нова система пошуку: два рівні обробки

Нова система пошуку в LinkedIn складається з двох основних рівнів: рівень вибірки та багатоступеневий рівень ранжування. На першому етапі система вибірки обирає кілька тисяч кандидатів із загального пулу мільярдів публікацій. Це робиться за допомогою двох механізмів: вибір на основі токенів (TBR) і вибір на основі вбудовування (EBR).

Механізм вибору на основі токенів (TBR) – TBR обирає публікації, які містять точні ключові слова із запиту. Для цього система використовує інвертований індекс, який зіставляє кожне ключове слово зі списком публікацій, що містять це слово. Коли надходить запит, система обирає всі публікації, що містять ключові слова із запиту, та виконує перетин цих списків, залишаючи лише ті публікації, що містять усі ключові слова.

Механізм вибору на основі вбудовування (EBR) – EBR, на відміну від TBR, використовує модель штучного інтелекту для вибору публікацій. Ця модель складається з двох тренованих підсистем: вбудовування запиту та вбудовування публікації. Модель перетворює текст запиту та публікації у векторні представлення, після чого обчислює косинусну подібність між ними для визначення найбільш релевантних публікацій.

Цей механізм дозволяє LinkedIn враховувати концептуальну відповідність між запитом та публікацією, а також персоналізувати вибір публікацій залежно від особливостей користувача.

Багатоступеневий рівень ранжування: оптимізація результатів

На етапі багатоступеневого ранжування відбувається оцінка кожної публікації в режимі реального часу. Це означає, що на цьому етапі використовується складна модель, яка враховує всі особливості запиту, публікації та користувача для досягнення оптимальних результатів. Для цього використовується два етапи ранжування:

Перший етап ранжування (L1) – на першому етапі (L1) використовується більш проста модель для швидкої оцінки всіх тисяч кандидатів, відібраних на етапі вибірки. Ця модель швидко обчислює початковий рейтинг публікацій, після чого обираються кілька сотень найкращих кандидатів для наступного етапу.

Другий етап ранжування (L2) – на другому етапі (L2) використовується більш складна модель для детальної оцінки відібраних кандидатів. Ця модель враховує велику кількість факторів, включаючи якість публікації, популярність автора, наміри користувача, а також інші метрики, такі як «довгі перегляди» (long-dwells) і відповідність теми (on-topic rate). Метою цього етапу є підготовка остаточного списку результатів пошуку, який найкраще відповідає запиту користувача.

Метрики успішності: максимізація релевантності та залученості

Для вимірювання успішності своєї пошукової системи LinkedIn використовує дві ключові метрики:

• Відповідність темі (on-topic rate): Ця метрика вимірює якість відповідності публікації запиту. Використовуючи GPT для оцінки, кожна публікація отримує оцінку від 0 до 1 залежно від того, наскільки добре вона відповідає на запит. Відсоток публікацій із найвищими оцінками серед топ-10 результатів і визначає on-topic rate.
• Довгі перегляди (long-dwells): Ця метрика вимірює час, проведений користувачем на кожній публікації. Якщо користувач витратив на перегляд публікації більше певної кількості секунд, це вважається «довгим переглядом». Публікації з «довгими переглядами» отримують оцінку 1, і загальна кількість таких публікацій використовується для обчислення цієї метрики.

LinkedIn оптимізує свою пошукову систему для досягнення балансу між цими двома метриками, що дозволяє надавати користувачам найбільш релевантний і цікавий контент.

Оптимізація продуктивності: швидкість та ефективність

Для забезпечення швидкої роботи пошукової системи LinkedIn впроваджує кілька оптимізацій:

Попереднє обчислення вбудовувань тексту: Текстові вбудовування всіх публікацій попередньо обчислюються та зберігаються у спеціальному сховищі. Це знижує затримку під час ранжування публікацій і зменшує обсяг даних, які потрібно передавати для оцінки.

Обмеження кількості публікацій для сканування: Під час пошуку система обмежує кількість публікацій, які аналізуються на етапі вибору найближчих кандидатів, щоб забезпечити швидку відповідь на запит.

Висновки

Запровадження семантичного пошуку в LinkedIn значно покращило результати пошуку, дозволивши платформі краще розуміти та відповідати на складні запити. Це не лише покращує користувацький досвід, але й збільшує взаємодію з платформою, що позитивно впливає на загальну залученість користувачів.

Завдяки новим можливостям, користувачі можуть знайти саме той контент, який їм потрібен, навіть якщо він не містить усіх ключових слів із запиту. Це робить LinkedIn ще більш цінним інструментом для професіоналів, які шукають релевантну інформацію та спілкування у своїй галузі.

Джерело: LinkedIn Engineering Blog