„Търсене в Google на стероиди“ извежда тъмната мрежа на светло

Правителствената агенция, която ни донесе Интернет, сега разработи мощна нова търсачка, която хвърля светлина върху съдържанието на така наречената дълбока мрежа. 

Агенцията за разширени изследователски проекти в областта на отбраната (DARPA) започна работа по дълбоката уеб търсачка Memex преди година и тази седмица представи своите инструменти на Scientific American и „60 минути“. 

Memex, който се разработва от 17 различни екипа на изпълнители, има за цел да изгради по-добра карта на интернет съдържанието и да разкрие модели в онлайн данни, които биха могли да помогнат на служителите на реда и други. Докато ранните изпитания са се фокусирали върху картографирането на движението на трафиканти на хора, технологията един ден може да бъде приложена към разследващи действия като борба с тероризма, изчезнали лица, реагиране при болести и облекчаване на бедствия.

Дан Кауфман, директор на офиса за информационни иновации в DARPA, казва, че Memex цели всичко да направи невидимото видяно. „Интернет е много, много по-голям, отколкото хората си мислят“, каза мениджърът на програмата на DARPA Крис Уайт пред „60 минути“. „Според някои оценки Google, Microsoft Bing и Yahoo ни дават достъп само до около 5 процента от съдържанието в мрежата.“

Google и Bing дават резултати въз основа на популярност и класиране, но Memex търси съдържание, обикновено игнорирано от търговските търсачки, като неструктурирани данни, несвързано съдържание, временни страници, които се премахват, преди търговските търсачки да могат да ги обхождат, и форуми за чат. Редовните търсачки игнорират тези дълбоки уеб данни, защото уеб рекламодателите - там, където компаниите за браузъри печелят парите си - нямат интерес към тях.

Memex също така автоматизира механизма за обхождане на тъмната или анонимна мрежа, където престъпниците извършват бизнес. Тези страници със скрити услуги, достъпни само чрез анонимния браузър TOR, обикновено работят под радара на правоприлагащите органи, продаващи незаконни наркотици и друга контрабанда. Когато някога се е смятало, че тъмната уеб мрежа се състои от около 1000 страници, Уайт каза на Scientific American, че може да има между 30 000 и 40 000 тъмни уеб страници.

Досега беше трудно да се разглеждат тези сайтове по някакъв системен начин. Но Memex - който Манхатън DA Cyrus Vance Jr. нарича „търсене на Google на стероиди“ - не само индексира съдържанието им, но го анализира, за да разкрие скрити взаимоотношения, които биха могли да бъдат полезни за правоприлагащите органи.

Инструментите за търсене на DARPA бяха въведени за избор на правоприлагащи органи през миналата година, включително новото звено за реагиране на трафика на хора в Манхатън. Понастоящем Memex се използва във всеки преследван случай на трафик на хора и е изиграл роля при генерирането на поне 20 разследвания за трафик на секс. Компресираният уеб робот може да идентифицира връзки между различни части от данни и създава карти с данни, които помагат на следователите да откриват модели.

В демонстрация за „60 минути“ Уайт показа как Memex е в състояние да проследява движението на трафикантите въз основа на данни, свързани с онлайн реклами за секс. „Понякога това е функция на IP адрес, но понякога това е функция на телефонен номер или адрес в рекламата или геолокацията на устройство, публикувало рекламата“, каза Уайт. „Понякога има и други артефакти, които допринасят за местоположението.“

Уайт подчерта, че Memex не прибягва до хакване, за да извлече информация. „Ако нещо е защитено с парола, то не е публично съдържание и Memex не го търси“, каза той пред Scientific American. „Не искахме да замъгляваме тази работа излишно, като плъзнем призрака на шпиониране и наблюдение“ - трогателна тема след разкритията на Едуард Сноудън от NSA

Memex получи името си (комбинация от „памет“ и „индекс“) и вдъхновение от хипотетично устройство, описано от Ваневар Буш през 1945 г., което предвещава изобретяването на персонални компютри, Интернет и други големи ИТ постижения през следващите 70 години. Сега DARPA и Memex изглежда са готови да ни приближат една стъпка по-близо до футуристичното полицейско управление на Филип Дик, изобразено в „Доклад за малцинствата“.

Нов кръг от тестове, който трябва да започне след няколко седмици, ще включва федерални и окръжни прокурори, регионални и национални правоприлагащи органи и множество НПО. Според доклада Scientific American той има за цел да "тества нови възможности за търсене на изображения, които могат да анализират снимки, дори когато части, които биха могли да помогнат на разследващите - включително лица на трафиканти или телевизионен екран във фонов режим, са затъмнени".

Чрез измислянето на по-добри начини за взаимодействие и представяне на информация, събрана от по-голям набор от източници, "ние искаме да подобрим търсенето на всички. Лесното използване на непрограмистите е от съществено значение", каза Уайт.