LinkedIn оновив алгоритм і пояснив, як працює пошук на платформі

На першому етапі система вибірки обирає кілька тисяч кандидатів із загального пулу мільярдів публікацій. Це робиться за допомогою двох механізмів: вибір на основі токенів (TBR) і вибір на основі вбудовування (EBR).

Механізм вибору на основі токенів (TBR)

TBR обирає публікації, які містять точні ключові слова із запиту. Для цього система використовує інвертований індекс, який зіставляє кожне ключове слово зі списком публікацій, що містять це слово.

Коли надходить запит, система обирає всі публікації, що містять ключові слова із запиту, та виконує перетин цих списків, залишаючи лише ті публікації, що містять усі ключові слова.

Механізм вибору на основі вбудовування (EBR)

EBR, на відміну від TBR, використовує модель штучного інтелекту для вибору публікацій. Ця модель складається з двох тренованих підсистем: вбудовування запиту та вбудовування публікації.

Модель перетворює текст запиту та публікації у векторні представлення, після чого обчислює косинусну подібність між ними для визначення найбільш релевантних публікацій.

Цей механізм дозволяє LinkedIn враховувати концептуальну відповідність між запитом та публікацією, а також персоналізувати вибір публікацій залежно від особливостей користувача.

Багатоступеневий рівень ранжування: оптимізація результатів

На етапі багатоступеневого ранжування відбувається оцінка кожної публікації в режимі реального часу. Це означає, що на цьому етапі використовується складна модель, яка враховує всі особливості запиту, публікації та користувача для досягнення оптимальних результатів. Для цього використовується два етапи ранжування:

Перший етап ранжування (L1)

На першому етапі (L1) використовується більш проста модель для швидкої оцінки всіх тисяч кандидатів, відібраних на етапі вибірки. Ця модель швидко обчислює початковий рейтинг публікацій, після чого обираються кілька сотень найкращих кандидатів для наступного етапу.

Другий етап ранжування (L2)

На другому етапі (L2) використовується більш складна модель для детальної оцінки відібраних кандидатів. Ця модель враховує велику кількість факторів, включаючи якість публікації, популярність автора, наміри користувача, а також інші метрики, такі як «довгі перегляди» (long-dwells) і відповідність теми (on-topic rate). Метою цього етапу є підготовка остаточного списку результатів пошуку, який найкраще відповідає запиту користувача.

Метрики успішності: максимізація релевантності та залученості

Для вимірювання успішності своєї пошукової системи LinkedIn використовує дві ключові метрики:

• Відповідність темі (on-topic rate): Ця метрика вимірює якість відповідності публікації запиту. Використовуючи GPT для оцінки, кожна публікація отримує оцінку від 0 до 1 залежно від того, наскільки добре вона відповідає на запит. Відсоток публікацій із найвищими оцінками серед топ-10 результатів і визначає on-topic rate.
• Довгі перегляди (long-dwells): Ця метрика вимірює час, проведений користувачем на кожній публікації. Якщо користувач витратив на перегляд публікації більше певної кількості секунд, це вважається «довгим переглядом». Публікації з «довгими переглядами» отримують оцінку 1, і загальна кількість таких публікацій використовується для обчислення цієї метрики.

LinkedIn оптимізує свою пошукову систему для досягнення балансу між цими двома метриками, що дозволяє надавати користувачам найбільш релевантний і цікавий контент.

Оптимізація продуктивності: швидкість та ефективність

Для забезпечення швидкої роботи пошукової системи LinkedIn впроваджує кілька оптимізацій:

• Обмеження кількості публікацій для сканування: Під час пошуку система обмежує кількість публікацій, які аналізуються на етапі вибору найближчих кандидатів, щоб забезпечити швидку відповідь на запит.
• Попереднє обчислення вбудовувань тексту: Текстові вбудовування всіх публікацій попередньо обчислюються та зберігаються у спеціальному сховищі. Це знижує затримку під час ранжування публікацій і зменшує обсяг даних, які потрібно передавати для оцінки.

Висновки

Запровадження семантичного пошуку в LinkedIn значно покращило результати пошуку, дозволивши платформі краще розуміти та відповідати на складні запити. Це не лише покращує користувацький досвід, але й збільшує взаємодію з платформою, що позитивно впливає на загальну залученість користувачів.

Завдяки новим можливостям, користувачі можуть знайти саме той контент, який їм потрібен, навіть якщо він не містить усіх ключових слів із запиту. Це робить LinkedIn ще більш цінним інструментом для професіоналів, які шукають релевантну інформацію та спілкування у своїй галузі.

Джерело: LinkedIn Engineering Blog