|
Яндекс.Пошук
«Яндекс» — заблокована в Україні[⇨] пошукова система, що належить російській корпорації «Яндекс». Частка «Яндекс.Пошуку» становила 52,3 % на ринку Росії (квітень 2018)[1]. ФункціональністьПошукова машина складається з трьох основних компонентів[2]:
Пошуковий запит від користувача після аналізу завантаженості пошукової системи відправляється на найменш завантажений сервер[3][4]. Для забезпечення такої можливості сервера «Яндекса» об'єднані в кластери і навіть кластери кластерів. Потім користувальницький запит обробляється програмою під назвою «Метапошук». Метапошук здійснює аналіз запиту в реальному часі: визначає географічне положення користувача, проводить лінгвістичний аналіз і т. д. Також програма визначає, чи належить запит до категорії найбільш популярних або нещодавно заданих. Видача на такі запити деякий час зберігається в пам'яті (кеші) метапошуку, і в разі збігу показуються заздалегідь збережені результати[4]. Якщо запит є рідкісним і збігів в кеші не знайдено, система перенаправляє його на програму «Базового пошуку». Той аналізує індекс системи, також поділений за різними серверами (це прискорює процедуру). Потім отримана інформація знову потрапляє на метапошук, дані ранжуються і показуються користувачеві в готовому вигляді[3].  ІндексуванняВ цілому «Яндекс» індексує наступні типи файлів: html, pdf, rtf, swf, doc, xls, ppt, docx, odt, odp, ods, odg, xlsx, pptx[5]. В «Яндексі» працюють 2 скануючих робота — «основний» і «швидкий». Перший відповідає за інтернет в цілому, другий індексує сайти з часто оновлюваною інформацією (новинні сайти та інформаційні агентства). У 2010 році «швидкий» робот отримав нову технологію під назвою «Orange», розроблену спільно каліфорнійським і московським підрозділами «Яндекса»[5]. З 2009 року «Яндекс» підтримує технологію Sitemaps[5]. Пошукові запитиІнтерфейс «Яндекса» має досить складною мовою запитів, що дозволяє обмежити область пошуку окремими доменами, мовами, типами файлів і т. д[6]. «Яндекс» автоматично, поряд з оригінальною "точною формою запиту, шукає різні варіації і формулювання[7]. Пошук «Яндекса» враховує морфологію мови, тому незалежно від форми слова в пошуковому запиті видача буде проводитися по всіх формах слів. Якщо морфологічний аналіз небажаний, можна перед словом поставити знак оклику (!) — пошук у цьому випадку покаже тільки конкретну форму слова[2]. Крім того, при пошуковому запиті практично не враховуються так звані стоп-слова, тобто прийменники, розділові знаки, займенники і т. д., зважаючи на їх велике розповсюдження[2]. Як правило, автоматично розкриваються абревіатури, діє транслітерація (наприклад, «Рено — Renault»), виправляється орфографія[7]. Також проводиться пошук по синонімах (мобільний — стільниковий) і різних формах слів (Воронеж — воронезький). Розширення або ні вихідного користувальницького запиту залежить від контексту. Розширення не відбувається при наборі вузькоспеціальних термінів (за запитом «монтерска кішка» не буде додано слово «котячий»), власних назв, назв компаній (наприклад, ВАТ «Бегемот» — ВАТ «Гіпопотам»), при додаванні слова «ціна», в точних цитатах (це запити, які виділяються машинописними лапками)[7]. Захист від спаму і вірусівСтаном на 2013 рік «Яндекс» є найбезпечнішою пошуковою машиною на планеті і третім за ступенем захищеності серед усіх вебресурсів[8]. Перевірка вебсторінок і попередження користувачів з'явилися на «Яндексі» у 2009 році: з тих пір на сторінці результатів пошуку поряд з небезпечним сайтом з'являється позначка «Цей сайт може загрожувати безпеці вашого комп'ютера або мобільного пристрою»[9]. Для виявлення загроз використовуються відразу дві технології. Перша куплена у американського антивіруса «Sophos» і заснована на сигнатурному підході: тобто при зверненні до вебсторінки антивірусна система звертається до бази даних вже відомих вірусів і шкідливих програм[10]. Такий підхід відрізняється високою швидкістю, але практично безсилий перед новими вірусами, ще не потрапили до бази даних. Тому «Яндекс» використовує поряд з сигнатурным ще й свій власний антивірусний комплекс, заснований на аналізі поведінкового фактора. Програма «Яндекса» при зверненні до сайту перевіряє, чи запитував останній у браузера додаткові файли, перенаправляв на сторонній ресурс і т. д. Таким чином, якщо отримані дані, що сайт починає виконання певних дій (запускаються каскадні таблиці стилів, модулі Java Script і повноцінні програми) без відома користувача, він поміщається в «чорний список» і бази вірусних сигнатур[10]. Інформація про зараження сайту з'являється в результатах пошуку, і через сервіс «[[Яндекс.Вебмайстер]]» відповідне повідомлення отримує власник сайту. Після першої перевірки «Яндекс» робить другу, і якщо інформація про зараження вдруге підтвердиться, перевірки будуть проходити частіше, доки загроза не буде усунена[9]. Щодня в 2013 році «Яндекс» перевіряє 23 млн вебсторінок (виявляючи при цьому 4300 небезпечних сайтів) і показує користувачам 8 млн попереджень[10]. Щомісячно перевіряється приблизно мільярд сайтів[9]. Пошукова видача та ранжуванняПошукова видача для кожного користувача формується індивідуально на основі його місцезнаходження, мовних запитів, інтересів і переваг за результатами попередніх та поточної пошукової сесії[11]. Тим не менш, ключовим фактором при ранжируванні пошукових результатів є їх релевантність, відповідність пошуковому запиту. Релевантність визначається на основі формули ранжирування, яка постійно оновлюється на основі алгоритмів машинного навчання[12]. Довгий час ключовим фактором ранжирування у «Яндекса» було кількість сторонніх посилань на конкретний сайт[13]. Кожній сторінці у Інтернеті присвоювався своєрідний індекс цитування, аналогічний індексу для авторів наукових статей: чим більше посилань, тим краще[13]. Подібний механізм працював як у ТІЦ «Яндекса», так і в PageRank пошукової системи Google[13]. Тим не менш, на даний момент в цілях запобігання «накрутки» «Яндекс» застосовує багатофакторний аналіз, з восьмисот факторів ранжирування якого на посилання припадає лише 70[13]. Сьогодні набагато більшу роль грає зміст сайту і наявність-відсутність там ключових слів, зручність читання тексту, назва домену та його історія, наявність мультимедійного контенту[13]. 5 грудня 2013 року «Яндекс» оголосив про повну відмову від обліку посилального фактора в майбутньому[13]. Сторінка з результатами пошуку складається з посилань з короткими анотаціями — «сніпетами». Останні включають в себе текстовий коментар, посилання, адресу, популярні розділи сайту, сторінки в соцмережах та ін.[14] Як альтернативу сніпетам, «Яндекс» ввів в 2014 році новий інтерфейс під назвою «Острови»[15]. В «Яндексі» реалізований механізм «паралельних пошуків», коли разом пошуком по вебу проводиться пошук по сервісах «Яндекса», таких, як [[Яндекс.Каталог]], [[Яндекс.Новини]], [[Яндекс.Маркет]], [[Яндекс.Картинки]], [[Яндекс.Карти]] та ін. В результаті у відповідь на запит користувача система видає не тільки текстову інформацію, але і посилання на відео, картинки, карти та ін[16]. Відмінною особливістю пошукової системи є також технологія «інтентного пошуку» (англ. intent — намір, бажання), тобто пошуку, спрямованого на вирішення завдання. Серед елементів такого пошуку — наявність діалогових підказок при неоднозначному запиті, автоматичний переклад тексту, показ інформації про характеристики автомобіля і т. д. Інформаційні блоки між рядком запиту і результатами називаються «чаклунчиками». Їх список:
Пошукові підказки По мірі набору користувачем запиту в рядку пошуку пошукова машина пропонує підказки у вигляді випадного списку. Підказки з'являються ще до переходу на сторінку результатів пошуку і дозволяють уточнити запит, виправити розкладку чи друкарську помилку або перейти на потрібний сайт. Для кожного користувача підказки формуються в тому числі на історію пошукових запитів (сервіс «Мої знахідки»). У 2012 році з'явилися так звані «Розумні пошукові підказки», які миттєво видають інформацію про основні константи (довжина екватора, швидкість світла і т. д.), затори на дорогах, і мають вбудований калькулятор. Крім того, в «підказки» вбудований перекладач (запит «любов по-французьки» моментально видає amour, affection), розклад і результати футбольних матчів, курси валют, прогноз погоди та ін. Можна дізнатися точний час запитом «котра година». У 2011 році підказки в пошуку «Яндекса» стали повністю локальними для регіонів.[17]. Крім власне пошуку, підказки вбудовані у власні пошукові системи інших сервісів «Яндекса». Функціонал є розвитком технології інтентного пошуку і вперше з'явився на «Яндекс.Барі» в серпні 2007 року, а в жовтні 2008 року був впроваджений на головній сторінці пошуковика[17][18]. Доступний як в настільній, так і в мобільній версії сайту. «Яндекс» показує своїм користувачам більше мільярда пошукових підказок у день[19]. Інше «Яндекс» пропонує ще декілька видів пошуку:
Логотип «Яндекса»Логотип «Яндекса» може змінювати свій дизайн в честь деяких пам'ятних дат[20]. ІсторіяЗміни в пошуковій машині довгий час широко не афішувалися і залишалися безіменними. І лише з початку 2008 року, коли було оголошено про запуск алгоритму «8 SP1», «Яндекс» заявив про те, що надалі нові алгоритми ранжирування будуть носити назви міст[21]. 1990-тіПошукова система «yandex.ru» була анонсована компанією CompTek 23 вересня 1997 року[22] на виставці Softool, хоча окремі розробки в області пошуку (індексація Біблії, пошук документів на CD-ROM, пошук по сайту) проводилися компанією ще раніше. Слово розшифровується як англ. yet another indexer («ще один індексатор; черговий індексатор») або як рос. Языковой индекс. За трактуванням Артемія Лебедєва, назва пошуковика співзвучно «Яньдекс», де янь — чоловічий початок[23]. За ще однією версією, назва «Яndex» походить від слова «Index» шляхом заміни першої літери. Перший індекс містив інформацію з 5000 серверів і займав 4.5 ГБ[24]. У тому ж 1997 році пошук «Яндекса» став використовуватися в російськомовній версії Internet Explorer 4.0[25]. Стало можливим задавати запит природною мовою[26]. У 1998 році з'явилася функція «знайти схожі документи» для кожного результату пошуку[27]. «Яндекс.Пошук» станом на 1998 рік працював на трьох машинах, що працювали на FreeBSD під Apache: одна машина обходила Інтернет і індексувала документи, одна пошукова машина і одна машина дублювала пошукову машину[28]. В 1999 році з'явився пошук в категоріях — пошук, поєднання пошукової системи і каталогу[29]. Оновлена версія пошукової машини[30]. 20006 червня 2000 року була представлена друга версія пошуковика[31]. Було запроваджено механізм паралельного пошуку, коли поряд з видачею з вебу пропонується інформація з великих джерел. Користувачі отримали можливість обмежити пошукову видачу обраною темою. З'явилася рубрика «Популярні знахідки» — слова, уточнюючі пошук[32]. До грудня 2000 року обсяг проіндексованої інформації досяг 355,22 Гб[33]. 20012001 рік став для «Яндекса» значущим, оскільки тоді він обігнав інший російський пошуковик, «Рамблер», по відвідуваності і з того часу є провідною пошуковою системою Рунету[34]. «Яндекс» став розуміти запити природною мовою, задані в питальній формі. Система навчилася розпізнавати помилки і пропонувати виправляти їх. Змінився дизайн[35]. 2002Кількість щоденних запитів до пошукової машини «Яндекс» перевищила 2 млн[36]. 2003Запущена індексація документів .rtf .pdf[37] Результати пошуку стали видаватися в тому числі і в форматі XML[38]. 2004Змінився алгоритм ранжирування[39]. Стартувала індексація документів у форматі .swf («флеш»)[40], .xls і .ppt[41]. В кінці року було викладено у відкритий доступ дослідження «Деякі аспекти повнотекстового пошуку і ранжирування в Яндекс» [Архівовано 4 березня 2016 у Wayback Machine.]. Автори Ілля Сегалович, Михайло Маслов розкрив окремі деталі ранжування в пошуковій системі[42]. 2005Влітку був запущений так званий «швидкий пошуковий робот», який працює паралельно з основним і призначених для індексації актуальних сторінок. База «швидкого робота» оновлюється кожні 1,5—2 години[43]. Був вдосконалений алгоритм ранжирування для збільшення точності пошуку[44]. Можливості пошуку були розширені за допомогою сервісів «Яндекс.Словники» і «Яндекс.Lingvo». Пошуковик навчився розуміти запити типу «як [що] по-іспанськи» і автоматично перекладати їх[45]. Стало можливим обмежити пошукову видачу по регіону[46]. 2006З травня 2006 в результатах пошуку стали відображатися піктограми сайтів[47]. На початку грудня поруч з кожною посиланням у видачі з'явився пункт «Збережена копія», клікнувши на який користувач переходить на повну копію сторінки в окремій архівній базі («Яндекс-кеш»)[48]. З'явилася геокласифікація сайтів. 2007Був змінений алгоритм ранжирування[49]. 2008У 2008 році компанія «Яндекс» вперше стала відкрито оголошувати про зміни в пошуковому алгоритмі і давати їм імена. Назва «міста» кожного наступного алгоритму починається на ту букву, на яку закінчувалась назва попереднього[50]. Значення «Яндекса»Стан, коли місцеві пошукові компанії не поступаються американським брендам, є в світі майже унікальним, якщо не враховувати досвід Китаю, де Google у 2010 році був заблокований, зламуються поштові скриньки правозахисників, а місцеві провайдери часто перенаправляють адреса www.google.cn на сайт Baidu[34][51]. Потрібно також відзначити, що Росія є єдиною країною в світі, за винятком США, якій удалося без протекціоністських заходів створити більше однієї успішної пошукової технології з помітною часткою ринку[52]. За словами медіаексперта Михайла Гуревича, «Яндекс» — «стратегічний продукт»[53]. У Росії це усвідомили і в Державній Думі Російської Федерації, в травні 2012 року з'явився законопроєкт, в якому «Яндекс» і «ВКонтакте» визнаються стратегічними підприємствами.[54]. Ще у 2009 році Президент Росії Дмитро Медведєв ініціював купівлю «Сбербанком» «золотої акції» «Яндекса» з метою уникнути потрапляння підприємства загальнодержавної важливості в руки іноземців[55]. У 2008 році «Яндекс» був дев'ятим пошуковиком у світі[56], в 2009 — сьомим[57], у 2013 — четвертим[58]. Блокування в УкраїніВ травні 2017 року доступ до усіх сервісів «Яндексу» в Україні було заблоковано указом Президента України. у зв'язку з загрозами в галузі інформаційної безпеки.[59] Внаслідок проведених наприкінці травня 2017 року обшуків в офісах компанії «Яндекс» Служба безпеки України встановила, що менеджмент компанії незаконно збирав, накопичував та передавав до Росії персональні дані українців. Це були особисті дані, інформація про рід занять, спосіб життя, місця перебування, проживання, роботи, дозвілля, джерела та розміри доходів, номери телефонів, електронних адрес та акаунтів у соціальних мережах. Також задокументовано факти, коли серед громадян, про яких до РФ передавалася інформація, є співробітники правоохоронних та спеціальних органів, військовослужбовці ЗСУ, інших підрозділів, які беруть участь в АТО на сході України, працівники органів державної влади та управління. За інформацією СБУ, інформацію передавали спеціальним службам РФ для планування, організації та проведення розвідувальних, диверсійних, інформаційно-підривних операцій в нашій країні на шкоду суверенітету України, територіальній цілісності та недоторканості.[60][61]. Після цього «Яндекс» вирішила закрити свої офіси в Україні.[62] КритикаСервіси Яндекса налаштовані таким чином, що дають доступ спецслужбам Російської Федерації до персональної інформації користувачів[63][64]. Це може бути використано проти України (і українських користувачів), враховуючи російсько-українську війну з 2014 року. «Яндекс.Новини» критикуються за просування маніпуляцій та фейків.[65] 20 лютого 2020 користувачі помітили, що Яндекс продає й показує багато реклами потенційно небезпечним ресурсам. Яндекс відповів, що ніякої небезпеки немає, а реклама перевіряється.[66] 27 квітня 2020 року Яндекс виділяв і показував негативні матеріали про російського опозиціонера Олексія Навального у своїх сервісах («Яндекс.Відео», «Яндекс.Новини» та «Яндекс. Кью»). Після розголосу, Яндекс назвав цю ситуацію «тимчасовим експериментом» і почав показувати Навального нейтральніше.[67][68][69] Примітки
|
||||||||||||||||||||||||||||||||||||
