6.2: Пошукові системи

Пошукова система - це частина програмного забезпечення, яке допоможе вам знайти речі. Оскільки доступ до Інтернету став майже всюдисущим у промислово розвиненому світі, ми прийшли до того, що кожного разу, коли ми хочемо щось знати, ми можемо просто попросити чарівну скриньку. Однак розуміння того, як користуватися інструментом та зрозуміти, як працює інструмент, - це різні речі.

Як вони працюють

Пошукова система не виходить і шукати в Інтернеті кожен раз, коли ви вводите слово або фразу. Це сервіс, який індексує або зберігає величезну кількість інформації про вміст багатьох веб-сайтів. Ця інформація зберігається в базі даних. База даних пошукової системи містить список всіх слів на всіх веб-сторінках, про які знає движок. Якщо ви введете ключове слово або фразу, наприклад, «Мексиканський наркокартель», пошукова система проконсультується зі своєю базою даних і надасть вам список посилань на сайти, які містять інформацію про мексиканські наркокартелі. Ці індекси формуються і оновлюються веб-сканерами — програмами, які копіюють веб-сторінки і багаторазово перевіряють наявність змін. Нові сторінки знаходять сканери, перейшовши за всіма посиланнями, знайденими на сторінці, яку вони вже скопіювали, і процес просто продовжується. Кінцевим результатом є те, що багато веб-сторінок індексуються. У 2014 році Google, найбільша пошукова система у світі, підрахувала, що вони проіндексували 35 трильйонів веб-сторінок. Хоча ця величезна кількість може змусити вас відчути, що у нас є Інтернет повністю індексований, це становить лише близько 4% інформації, яка існує в Інтернеті. Коли ви чуєте, як люди говорять про «глибоку павутину» або «темну павутину», вони говорять про неіндексовані частини Інтернету (різниця в тому, що глибока павутина - це та частина, до якої ще не дійшли сканери, а темна павутина - це частина, яка навмисно прихована).

Список сайтів, які вам дає пошукова система, упорядковується за алгоритмом сайту. Суть алгоритму полягає в тому, щоб організувати результати пошуку в прагненні максимально швидко отримати потрібну інформацію, а не випадковий список сторінок, що містять терміни в будь-якому порядку. Ці алгоритми є власними, тому ми не знаємо всіх факторів, які входять до рейтингу, або як ці фактори мають пріоритет. Має сенс, що ці підприємства хочуть тримати повну інформацію про свої програми в таємниці від своїх конкурентів, хоча основні з них поділилися деякими уявленнями про процес. Наприклад, Bing від Microsoft включає частоту кліків як частину свого алгоритму (сторінки рухаються вгору та вниз по сторінці результатів залежно від частоти, яку вони натискають), тоді як Google цього не робить. І навпаки, Google значною мірою покладається на те, що вони називають «чистими зворотними посиланнями» (сторінки рухаються вгору рейтингу, чим більше вони пов'язані з сайтами, які вже довіряють Google, і вниз, якщо вони пов'язані з неповажними сайтами), і немає ніяких доказів того, що Bing піклується про це.

Тепер все це було швидше за все більше інформації, ніж ви хотіли, але важливо зрозуміти, як працюють пошукові системи, щоб ми могли приймати обґрунтовані рішення про те, що пошукова система використовувати. Більшість із вас, ймовірно, за замовчуванням використовують Google або Bing для здійснення пошукових запитів. Чи є у вас принципові причини для використання пошукової системи, яку ви робите? Ви навіть замислювалися про це? Ну, тепер ви знаєте, що кожна пошукова система має свій індекс і свій власний алгоритм, і що вони можуть серйозно вплинути на результати, які ми отримуємо. В останньому розділі ми обговорювали, як, коли питання є досить важливим для нас, найкращий захист, який ви можете використовувати, - це стати експертом самостійно. На жаль, це буде одним з цих питань. Можливо, вам буде нудно, але вам потрібно дізнатися трохи більше про способи роботи різних алгоритмів, інакше у вас не буде вагомих причин довіряти результатам ваших пошуків. Ми тут не для того, щоб сказати вам, яку пошукову систему використовувати, але ви повинні приймати розглянуте рішення про те, що використовувати, а не просто працювати за замовчуванням.

Деякі додаткові проблеми

Пошукова оптимізація

Ще одна причина важливо знати, як працюють різні пошукові системи, тому що це стало великим бізнесом, щоб спробувати маніпулювати результатами. Більшість людей не будуть досліджувати нижче першої жменьки списків у пошуку. З огляду на це, бізнесу стає дуже важливим бути якомога ближче до верхньої частини списку (особливо у великих сферах). Це породило пошукову оптимізацію, або SEO. SEO - це процес, за допомогою якого веб-сайт намагається покращити свій рейтинг у пошукових записах. Це робиться шляхом використання того, що ми знаємо про різні алгоритми. Отже, замість того, щоб створювати його зміст і дозволяти алгоритмам працювати за призначенням, бізнес платить консалтинговим фірмам, щоб збільшити кліки, очистити зворотні посилання та всілякі інші маневри, щоб обдурити алгоритм - і, як наслідок, ви також - думаючи, що вони найкраще місце для отримання інформація.

Конфіденційність

Ви також повинні витратити деякий час на роздуми про вашу конфіденційність в Інтернеті. Пам'ятайте, що більшість пошукових систем - це бізнес. Вам не стягується плата за використання послуги, яку вони надають, яка повинна повідомити вам, що пошукова система не є продуктом - ви є. Якщо ви увійшли в Google або Bing, то вони записують ваші історії пошуку. Ці компанії люблять говорити, що вони не продають вашу особисту інформацію, і це правда, але це не вся історія. Вони не хочуть продавати вашу інформацію, оскільки те, що вони продають, - це послуги, які вони надають з вашими даними. Основною формою цього є таргетована реклама. Розуміючи ваші звички перегляду, ці пошукові компанії можуть надавати послуги цільової реклами. Ви в кінцевому підсумку бачите більше оголошень про речі, які вас, ймовірно, зацікавлять, і в результаті ви, швидше за все, натиснете на них і витратите свої гроші.

Ваша історія пошуку - це далеко не єдині дані, які ці компанії зберігають на вас. Відстежується ваше місцезнаходження, як і ваша історія YouTube (Google), ваші звички до відеоігор (Microsoft), додатки, які ви використовуєте на своєму телефоні, і безліч інших речей, які ви, можливо, не зрозуміли. Якщо ви перейдете на https://account.microsoft.com/account/privacy, ви можете перевірити всі дані, які корпорація Майкрософт збирає про вас через Bing та інші засоби. Те ж саме ви робите для Google за адресою https://myaccount.google.com./data-and-personalization. Обидва сайти також пропонують вам варіанти обмеження даних, які вони збирають, і способи видалення вже отриманої інформації.

Якщо будь-яке з цього робить вас трохи гидливим, то ви можете заглянути в Startpage (https://www.startpage.com). Startpage.com - це альтернативна пошукова система, яка буквально працює на результатах Google. Замість того, щоб пропонувати користувачам власний алгоритм, вони пропонують конфіденційність. Стартова сторінка не записує вашу IP-адресу і не використовує файли cookie для відстеження. Отже, якщо вам подобається, як працює алгоритм Google, але ви хочете уникати реклами у ваших результатах, а історія пошуку відстежується та зберігається, у вас є проста альтернатива. Qwant (https://www.qwant.com) робить приблизно те ж саме, використовуючи алгоритм Bing.

Глобальні перспективи

Одна остання річ, яку варто враховувати, це те, що ваше розуміння пошукових систем буде в значній мірі формуватися на вашому тлі. Як уже згадувалося вище, більшість американців за замовчуванням використовують Google або Bing. Хоча ці пошукові системи існують у всьому світі, вони складають відносно невелику частку ринку в багатьох країнах і в деяких місцях, як Китай, вони фактично заборонені. Розуміння інших варіантів там і як вони працюють, ви можете допомогти краще зрозуміти, як люди в інших місцях отримують свою інформацію. Іноді це також може допомогти вам знайти більш точні результати. Якщо ви шукаєте, щоб знайти кращий борщ під час відвідування Москви, ви, ймовірно, повинні використовувати Яндекс, а не Google.