Агентство DARPA рассекретило информацию о поисковой системе Memex по сайтам Невидимой сети (Deep Web). Поисковик разработан для нужд спецслужб. Например подразделение минобороны использует этот софт для отслеживания информации о торговле людьми.

Невидимая сеть это сайты Tor и запароленные форумы и сайты, требующие регистрации. Есть ещё различные базы данных (юридические, судебные, адресные и т.д.), которые не хранят документы в статичном виде, а выдают их после заполнения формы. И серверы, которые выдают информацию с каких-либо сенсоров. Огромный массив сведений, недоступный обычным поисковикам вроде Google и Bing, а вот правоохранительным органам крайне важно иметь доступ к этой информации.

DARPA пишет, что обычные поисковики не устраивают их ещё и с технологической точки зрения, потому что выдают информацию слишком примитивно: в виде ссылок. А нужны продвинутые возможности. Например, составление списков с конкретными фамилиями, отслеживание изменения информации по определённым запросам, поиск закономерностей в собранных данных.

Для создания поисковика DARPA сотрудничало с 17 научно-исследовательскими группами из частных компаний и университетов, чтобы разработать способы извлечения, анализа и организации информации, полученной из Скрытой сети.

Естественно, система Memex не доступна для обычной публики и о ней известно очень мало. Есть только сведения о её применении различными агентствами. Очевидно, что подобные инструменты есть и в разведслужбах, которые тоже используют их по назначению.