Многорукий бандит: як перемогти алгоритм «Яндекса»

8

Влітку 2015 року найбільша пошукова система рунета «Яндекс» обкатувала новий алгоритм ранжування. Власники сайтів помітили це з різким змінам позицій у видачі. Пізніше алгоритм назвали багаторуким бандитом. Звідки у пошукового алгоритму ковбойско-кримінальне назва? І що повинні знати про многоруком бандита «Яндекса» власники сайтів і маркетологи?

Одного разу на Дикому Заході, або Що сталося з видачею «Яндекса» влітку 2015 року

Вебмастера припустили оновлення алгоритму «Яндекса», коли помітили раптові зміни позицій сайтів у видачі. Без видимої причини ресурси вилітали з топ-20 або топ-30 на кілька днів. Потім більша частина сайтів також нез’ясовно поверталася на звичну першу сторінку видачі.

Одночасно в топ-10 з’являлися ресурси, які раніше не були помічені на вершині. Новачки якийсь час займали перші позиції. Через деякий час більшість з них опускалося на звичне місце: нижче другої-третьої сторінки видачі. Але деякі сайти залишалися в топі надовго.

Більшість вилетіли з топ ресурсів поверталося назад. Більшість потрапили на першу сторінку новачків вилітало за межі топ-30. Одиницям вдавалося закріпитися на перших позиціях. Природно, вони займали місця важкоатлетів, які опускалися у видачі.

Дивна поведінка «Яндекса» спостерігалося переважно у видачі для Москви і Санкт-Петербурга. У деяких регіонах відзначалися поодинокі різкі зміни видачі. В інших непояснених раптових змін видачі не було.

Власники сайтів помітили хвильовий характер змін. «Яндекс» чергував періоди турбулентності видачі з періодами відносної стабільності. При цьому закономірностей в тривалості спокійних і неспокійних не спостерігалося.

Ще один важливий теза: пошукова система активно тасовала видачу за комерційним запитам типу «замовити піцу з безкоштовною доставкою в Москві». У меншій мірі зміни торкнулися видачі за інформаційними запитами типу «як вибрати дитячий велосипед».

Щиросердне зізнання: восени «Яндекс» підтвердив новий алгоритм

У вересні 2015 року «Яндекс» написав про новий алгоритм в блозі для вебмайстрів. Щоб описати його суть, треба згадати, як формується пошукова видача, вірніше, як вона формувалася до багаторукого бандита.

У відповідь на запит користувача «Яндекс» пропонував йому сукупність сторінок, ранжованих за інформаційної релевантності. Пошукова система враховувала реакцію людей на запропоновані сайти. Мова йде про поведінкових факторах. Зібравши достатній обсяг інформації, «Яндекс» коригував результати ранжирування за інформаційної релевантності на задоволеність користувачів.

Многорукий бандит: як перемогти алгоритм «Яндекса»

На перший погляд ця модель здається практично ідеальною. Пошуковик враховує інформаційне якість сторінки і задоволеність користувачів. Здавалося б, навіщо змінювати алгоритм? Потім, що без змін ця модель поступово призводить до серйозного зниження якості пошукової видачі.

Умовно уявіть, що «Яндекс» визначив десять найбільш релевантних запиту «купити КАСКО в СПб сторінок. Після поправки на поведінкові метрики пошуковик замінив кілька сайтів з топ-10, а також розставив їх у порядку від кращого до гіршого. Як сказано вище, для визначення кращих машина використовувала інформаційну релевантність і задоволеність користувачів.

Що відбувається далі? Всякий раз, коли користувач вводить в пошуковий рядок відповідний запит, «Яндекс» видає йому десять кращих сторінок. За інших рівних умов більше трафіку отримують сайти, розташовані на більше високих позиціях у ВИДАЧІ.

Наприклад, за даними досліджень маркетингових агентств Optify, Slingshot, Chitica, Catalyst, AOL і Enquiro, перша позиція в SERP отримує від 17 до 42 % переходів. Сайти з топ-5 отримують від 43 до 76 % кліків. А всі сайти з першої сторінки видачі отримують до 95 % кліків.

Разом з трафіком сайти з топа отримують нові поведінкові сигнали. У свою чергу, ресурсів з-за меж топ-20 або -30 пошукова система дає менше відвідувачів, ніж лідерам видачі. В результаті «Яндексу» не вдається зібрати інформацію про задоволеності користувачів. Даних недостатньо, щоб прийняти рішення про підвищення або зниження позицій ресурсу. З-за цього топ пошукової видачі консервується: новачкам практично неможливо потрапити на першу сторінку через відсутність користувальницьких сигналів.

Чому в цій ситуації неминуче падає якість видачі? Відповідь очевидна: чи існує комерційна ніша, де одна і та ж інформація завжди залишається однаково релевантною і актуальною. З часом змінюються ринкові умови, потреби клієнтів, характеристики продуктів. Пошукова система повинна реагувати на об’єктивні зміни, змінюючи видачу. Але вона не робить цього через консервації топа поведінковими факторами.

Справедливе питання: а чому «Яндекс» не змінює видачу з допомогою оцінки інформаційної релевантності? Чому б пошуковику не обчислювати зміни цінності та актуальності інформації? І дуже проста відповідь: він робот. Машини розумні, але вони все ще визначають релевантність інформації машинними методами. Простіше кажучи, щоб сформувати видачу, «Яндекс» розраховує семантичну релевантність інформації запитом користувача.

Ось умовний перебільшений приклад: уявіть, що в 2014 році пошукова система вибрала найбільш релевантні сторінки за запитом «лікування варикозного розширення вен». Після корекції на власні сигнали в топі закріпилися сайти клінік, що пропонують лікування за допомогою лазерної коагуляції.
У 2015 році з’явилися нові клініки, що пропонують лікування з допомогою більш ефективного і ощадливого методу — радіочастотної абляції. Але сайти цих медцентрів не потрапляють у топ за запитом «лікування варикозного розширення вен». Для пошукача залишаються релевантними сторінки клінік, що пропонують лікування лазером. Ситуація могла б змінитися після корекції на власні метрики, але у «Яндекса» немає інформації про задоволеність користувачів після відвідування нових сторінок.

У програмній статті, написаній до міжнародної конференції WWW 2015, «Яндекс» назвав традиційний підхід до формування видачі експлуатуючим. Ось проміжне резюме для експлуатує підходу: стратегія спрямована на формування максимально якісної видачі з допомогою оцінки релевантності сайтів з подальшою корекцією на поведінкові фактори. Підхід має суттєвий недолік: топ пошукової видачі консервується, нові сайти не отримують трафіку. З-за цього «Яндекс» не може зібрати для них відомості про задоволеності користувачів, з допомогою яких можна було б підвищити якість SERP.

А якщо ризикнути? Якість видачі можна підвищити з допомогою експериментів

В якості альтернативи эксплуатирующему «Яндекс» розглядає експериментує підхід. Ось його суть: пошукова система активно тасує видачу. Позиція сайтів по конкретним запитам швидко і непередбачувано змінюється. Мета землетрусів в SERP — збір поведінкових сигналів для максимальної кількості сайтів, ранжирующихся по тим чи іншим ключовим фразам. У довгостроковій перспективі стратегія підвищує якість видачі за рахунок оцінки задоволеності користувачів.

При використанні який експериментував підходу до формування видачі з’являється серйозна проблема. У короткостроковій перспективі якість SERP катастрофічно падає. Чому? Щоб перетасувати сайти у видачі з того чи іншого запиту, «Яндексу» доводиться підвищувати позиції менш релевантних ресурсів на шкоду більш релевантним. Оскільки видача в цілому стає менш релевантною, пошукова система не може використовувати експериментує підхід у чистому вигляді.

Друге проміжне резюме: експлуатує і експериментує підходи в чистому вигляді поступово знижують якість видачі. Застосування першого консервує топ і не пускає на перші сторінки нові ресурси. Застосування другого призводить до зниження релевантності видачі в короткостроковій перспективі. Що в цій ситуації робить пошукова система? Вона випускає на сцену багаторукого бандита.

Хороший, поганий, многорукий: як працює бандит «Яндекса»

Все, що потрібно знати про алгоритм власникам сайтів і маркетологам, «Яндекс» написав у згаданій замітці про новий підхід до визначення релевантності документів. Суть багаторукого бандита полягає в оптимальній комбінації експлуатує і який експериментував підходів до формування видачі. Іншими словами, пошукова система тасує видачу дозовано, щоб не втратити загальну релевантність ВИДАЧІ. «Яндекс» час від часу підкидає в топ нові сайти і оцінює поведінкові сигнали.

Якщо вас цікавлять технічні подробиці роботи алгоритму з формулами і логарифмами, читайте зазначену вище програмну статтю «Яндекса» Gathering Additional Feedback on Search Results by Multi-Armed Bandits with Respect to Production Ranking. Тільки ще раз зверніть увагу, матеріал варто читати, якщо вам цікаві технічні аспекти роботи алгоритму. Для успішної розкрутки проекту достатньо розуміти, що з допомогою багаторукого бандита «Яндекс» оптимально поєднує експлуатує і експериментує підходи до формування видачі.

Чому пошуковий алгоритм назвали багаторуким бандитом? Це назва проблеми та її експериментального рішення в теорії ймовірності. Суть вигаданого експерименту в наступному: людина повинна виграти максимальну суму, граючи з кількома однорукими бандитами, як називають на сленгу ігрові автомати. Сукупність автоматів або одноруких бандитів — це і є многорукий бандит.
Щоб отримати максимальний виграш, гравець повинен вирішити, в якій черговості смикати ручки автоматів, скільки разів смикати ручку кожного автомата і варто смикати ручки нових автоматів, якщо попередні вже принесли якийсь виграш. В теорії ймовірності задача розв’язується математичними методами, наприклад, шляхом розрахунку індексів Гиттинса або показників ймовірного виграшу для кожного ігрового автомата. Щоб розрахувати індекси, гравець повинен зібрати статистику для кожного автомата.

Нічого не нагадує? «Яндекс» вважає пошукову видачу багаторуким бандитом. Кожне посилання в SERP — це окремий ігровий автомат або однорукий бандит. Коли «Яндекс» смикає ручку відповідного автомата, сайт відображається в топі. Виграш для пошукової системи — задоволеність користувача. Новий алгоритм допомагає пошуковику знайти найбільш виграшний порядок взаємодії з кожним одноруким бандитом.

Знайти і знешкодити: діє многорукий бандит в даний момент

А давайте перевіримо. Ось пошукова видача за запитом «замовити піцу в Митищах безкоштовна доставка» за 13 квітня:

Многорукий бандит: як перемогти алгоритм «Яндекса»

А ось видача за цим запитом за 14 квітня:

Многорукий бандит: як перемогти алгоритм «Яндекса»

А ось SERP за 15 квітня:

Многорукий бандит: як перемогти алгоритм «Яндекса»

Зміни на 16 квітня:

Многорукий бандит: як перемогти алгоритм «Яндекса»

На скріншотах видно, що порядок сайтів в топі змінюється щодня. Зверніть увагу на сайт sushishka.ru, який 14 квітня входить у топ-5, 15 квітня займає друге місце, а 16 квітня виявляється на першому місці у видачі. Також 16 квітня в топі з’являється новий сайт: mytishi.papajohns.ru.

Давайте подивимося на результати видачі за інформаційним запитом «як вибрати вікна ПВХ» для Москви. Ось SERP за 13 квітня:

Многорукий бандит: як перемогти алгоритм «Яндекса»

Ось видача по цьому запиту від 14 квітня:

Многорукий бандит: як перемогти алгоритм «Яндекса»

А ось видача за 15 квітня:

Многорукий бандит: як перемогти алгоритм «Яндекса»

SERP за 16 квітня:

Многорукий бандит: як перемогти алгоритм «Яндекса»

Зверніть увагу на сайт fairy-house.ru. Він займав другу позицію 13 квітня. 14 числа він випав з топа, а 15 знову повернувся на другу позицію. Крім цього провалу і подальшого ривка можна помітити зміну порядку ранжування ресурсів у видачі.

Для чистоти експерименту подивіться на динаміку видачі по ще одному інформаційного запиту:

Многорукий бандит: як перемогти алгоритм «Яндекса»

Ось видача по цьому запиту для московського регіону за 14 число:

Многорукий бандит: як перемогти алгоритм «Яндекса»

Ось SERP за 15 квітня:

Многорукий бандит: як перемогти алгоритм «Яндекса»

Видача на 16 квітня:

Многорукий бандит: як перемогти алгоритм «Яндекса»

З 13 по 16 квітня сайт «Текстерры» жодного разу не обіймав однакову позицію. 15 квітня в топ увійшли сайти zarplatawmz.ru і dolinacoda.ru. Перший 16 квітня з топа зник, а другий там втримався. 16 квітня «Яндекс» показував у видачі по обраному запитом блок з відео.

Які висновки можна зробити? Видача «Яндекса» постійно змінюється як у комерційних, так і за інформаційними запитами. Зміни відбуваються дуже швидко. Сайти з’являються і зникають з топа. Також вони постійно змінюють позиції на першій сторінці видачі. Можна пояснити лабільність SERP багаторуким бандитом? Так, хоча на зміни видачі впливають і інші фактори, наприклад, персоналізація.

Багаторукого бандита можна розглядати в якості глобального і постійного прагнення пошукової системи покращувати якість SERP. У цьому сенсі саме він відповідає за динаміку результатів пошуку.

Поганий коп: як не треба діяти після появи багаторукого бандита

Керівник відділу пошукового просування Wikimart.ru Михайло Сливинський у статті для Ѕеагсһепдіпеѕ.ги пропонує кілька сумнівних тактик. Шановний колега в цьому випадку вибрав не зовсім коректний підхід. Потрібно робити все навпаки.

Не давайте знижку на товар або безкоштовну доставку

Думка зрозуміла: як тільки власник інтернет-магазину зауважує, що бандитський алгоритм «Яндекса» відправив сторінку з якимось товаром в топ, потрібно тут же дати клієнтам знижку. Це підвищить задоволеність користувачів і поліпшить поведінкові фактори. Відповідно, сторінка залишиться в топі.

Добре, якщо в магазині продається три товару. А якщо 333? Або 3333? Встигне чи власник сайту помітити стрибки позицій і внести потрібні зміни на сайт до наступного бандитського набігу на видачу?

На скріншотах вище видно, що сайти випадають з топа на один день. Швидше за все, нові ресурси затримуються на першій сторінці довше, так як «Яндексу» потрібно зібрати достатній обсяг даних. Але ви не можете спрогнозувати конкретний період перебування сторінки в топі.

В такому випадку, що робити з акцією? Завершити її, як тільки пошукова система протестує задоволеність користувачів? Продовжити акцію і зробити вигляд, що це планове рішення?

А як бути, якщо бандитові «Яндекса» прийде в електронну голову в перший тиждень протестувати 100 сторінок з описами, в наступний тиждень ще 150 і так далі? Скільки часу піде у пошукача, щоб перевірити реакцію користувачів на всі 3 тис. сторінок з описами товарів з вашого інтернет-магазину? Як зреагують клієнти на постійні зміни списків акційних товарів?

Найголовніший з риторичних запитань: а чи не розориться підприємство на знижки і безкоштовній доставці, ганяючись за невловимим бандитом?

Не додавайте в title і description спецсимволи

Чому? Як мінімум, це несолідно. Звичайно, якщо ви просуваєте розважальний сайт для школярів, можете спробувати. Для дорослих проектів це моветон.

Многорукий бандит: як перемогти алгоритм «Яндекса»

Як максимум, рано чи пізно ви підхопите санкції. Так, поки пошукові системи крізь пальці дивляться на пустощі з спецсимволів в description. Але якщо «Яндекс» і Google побачать, що багато власників сайтів засмічують SERP якимись загогулинками, негайно з’явиться новий фільтр.

Не використовуйте ігрові механіки і не наповнюйте title/description корисною інформацією

Цей пункт звучить абсурдно поза контекстом. Тому правильно його сформулювати так: не використовуйте ігрові механіки і не наповнюйте description корисною інформацією тільки з-за того, що бандит «Яндекса» на якийсь час впустив сторінки вашого сайту в топ. Невже, якщо б пошукова система не відновила алгоритм, ви б вказували в описі сторінки непотрібну інформацію і ігнорували игрофикацию?

Давайте подивимося на проблему з іншого боку. Скільки часу займає впровадження ігрових механік? Ви будете використовувати їх на всьому сайті або тільки на сторінках, які вискочили в топ? Коли «Яндекс» закінчить збір даних, ви перестанете використовувати игрофикацию? Кому вона потрібна: бандитам «Яндекса» або вашим клієнтам?

Не просувайте сайти по позиціях

Цей пункт вже не має відношення до Михайла Сливинскому.

Просування по позиціях неефективно з цілого ряду причин, включаючи лабільність видачі «Яндекса» і Google. Детальніше про це розповідає Денис Савельєв. Якщо коротко, вам потрібні відвідувачі, а не позиції у видачі. А ця задача вирішується за допомогою інших підходів. Про них піде мова далі.

Хороший коп: як просувати сайти після появи багаторукого бандита

Якщо коротко, то так само, як і до появи нового алгоритму. Нічого нового в зв’язку з бандитськими стрибками у видачі «Яндекса» робити не потрібно. Всі ефективні методики інтернет-маркетингу враховують особливості багаторукого бандита. Дивіться самі.

До речі, білий інтернет-маркетинг враховує особливості не тільки багаторукого бандита і всіх існуючих алгоритмів, але і будь-яких алгоритмів будь-яких пошукових систем, які з’являться в майбутньому. Коли ви ставите інтереси користувача на перше місце, про алгоритми пошуковиків можна не думати.

Бийте по бандитизму нізкочастотнікамі

Михайло Сливинський і Станіслав Поломарь пропонують використовувати широке семантичне ядро для захисту від випадання сторінок з видачі, пов’язаної з багаторуким бандитом. Відмінна рекомендація.

На це питання можна поглянути під іншим кутом. Просування по низькочастотних запитах не тільки захищає вас від втрати трафіку. Воно покращує поведінкові метрики і дозволяє вашим сторінкам закріпитися в топі, якщо «Яндекс» дає їм шанс. Чому так відбувається?

Щоб відповісти на це питання, згадайте, як правильно просуватися по широкому семантичному ядру. Вам потрібно давати аудиторії вичерпну інформацію з проблеми, глибоко занурюватися в тему, демонструвати користувачам експертизу. Одним словом, максимально підвищувати якість контенту. Як ви думаєте, хороший контент покращує поведінкові метрики сайту?

Протиставте бандитам клієнтоорієнтованість

Клієнтоорієнтованість може бути банальним штампом, який використовується на сайті поряд з фразою про молоду динамічно розвивається компанію. А може бути ефективним бізнес-інструментом.

У контексті багаторукого бандита мова йде ось про що: пропонуйте клієнтам вигідні умови доставки, конкурентну ціну, якісні продукти. Проводите акції, розігруйте призи, влаштовуйте розпродажі. Робіть це у відповідності з бізнес-планами, а не примхами багаторукого бандита. Одним словом, думайте про людей, а не про алгоритми і пошукових системах. Повірте, «Яндекс», Google, Bing, Mail.ru і всі інші пошуковики це оцінять.

Станьте юзабіліті-гангстером, UX-розбійником, піратом функціональності

Ваш сайт в будь-який час дня і ночі має бути зручним, корисним, інформативним, функціональним. Розвивайте і покращуйте ресурс без прив’язки до алгоритмів пошукових систем. Ось напрями, в яких потрібно рухатися:

  • Адаптуйте ресурс до мобільного трафіку. Використайте спосіб, який вважаєте підходящим: адаптивну верстку, мобільний сайт, динамічні покази або мобільний додаток.
  • Забезпечте високу швидкість завантаження сторінок. Використовуйте gzip-стиснення, налаштуйте кешування, оптимізація зображення, відмовтеся від непотрібних Java-скриптів.
  • Приділіть увагу читабельності контенту. Про це читайте у статтях: один, два і три.
  • Подбайте про юзабіліті: дизайн сторінок, кнопках, формах, навігації, спливаючих вікнах, посадкових сторінках.

Ваш сайт повинен забезпечувати користувача щастя або задовольняти потреби інтернет-серферів.

Забудьте про многоруком бандита «Яндекса»

«Яндекс» намагається постійно підвищувати якість пошукової видачі. Для цього він використовує багато інструментів, алгоритмів, критеріїв оцінки сайтів. З допомогою багаторукого бандита пошукова система дає шанс різних ресурсів: відправляє їх в топ і вивчає власні сигнали.

Для успішного просування сайту в епоху пошукових бандитів, які напевно є не тільки у «Яндекса», вам потрібно виконати три умови. Перше: в довгостроковій перспективі успіх сайту і підприємства в цілому залежить від вдалої клієнтоорієнтованої бізнес-моделі. Не потрібно підлаштовуватися під алгоритми, треба давати людям вигідні умови співпраці завжди.

Друге: вам потрібен якісний контент. Давайте аудиторії експертизу, додану цінність, реальну користь. Тоді не доведеться з-за кожного оновлення алгоритмів щось міняти в описах сторінок, використовувати дитячі значки та інші читерські хитрощі.

Третє: сайт повинен відповідати технічним вимогам аудиторії і пошукових систем. Мова йде про все, що пов’язано із зручністю використання ресурсу: від мобільного адаптації до читабельності контенту, від швидкості завантаження до візуальної привабливості та дизайну.

Якщо ви дотримуєтеся ці правила, забудьте про многоруком бандита «Яндекса» прямо зараз. Думайте про розвиток бізнесу і сайту, а не турбуйтеся про технічні аспекти роботи пошукових систем.