В 2002 году в американский магазин Target обратился клиент. Он был недоволен тем, что его дочь-подросток получает от торговой сети рекламные буклеты с товарами для беременных. Менеджеры принесли свои извинения, списав все на ошибки системы. Спустя несколько дней оказалось, что школьница действительно была беременна. Как магазин узнал об этом раньше родных? Благодаря методу анализа больших массивов данных (Big Data) – это серия инструментов и алгоритмов обработки данных огромного объема и многообразия. В результате хаотичные данные приводят в систему, определяют закономерности и делают на этой почве определенный прогноз. Компьютеры Target зафиксировали интерес школьницы к некоторым группам товаров, связали данные между собой и отнесли покупательницу к категории беременных. И не ошиблись.

Так методы обработки больших массивов информации используются в маркетинге. В науке возможности еще шире. Астроном из Колумбийского университета Шай Джинел (Shy Genel) работает с данными космического телескопа Хаббл, обсерватории на земной орбите. Массивы полученной информации ученый анализирует как Big Data и использует в своем проекте Illustris — компьютерной модели, симулирующей эволюцию Вселенной. Модель служит для изучения процессов формирования черных дыр, дает более четкое представление о космическом времени и пространстве.

В ходе эксперимента задействован суперкомпьютер, в котором 8912 процессоров объединены общей памятью, обмениваются данными и обновляют их в соответствии с потоком свежей информации. Ученые постарались охватить столько галактик, сколько смогли, и загрузить такое количество детальных данных, какое было в их распоряжении. И продолжают вносить новые. Цель проекта — лучше понять и описать законы природы, максимально реалистично реконструировать происходящие в космосе процессы.

В борьбе с раком массивы больших данных использует Идит Кости (Idit Kosti), научный сотрудник Института вычислительных наук и здоровья в Калифорнии. Для сбора информации приглашаются больные, их родственники и здоровые волонтеры, у каждого берется ДНК и анализы – и начинается исследование закономерностей распространения раковых клеток. ДНК человека содержит около 3 млрд химических соединений, то есть является Big Data и требует соответствующих методов анализа.

Сделать обширные архивы Би-Би-Си более доступными для широкой публики поможет структурирование больших масс данных, которым занимается Саймон Поппл (Simon Popple), один из руководителей школы медиа и коммуникации университета Лидса.

Активная работа с гаджетами создает волну хаотических данных – входящие и исходящие звонки, сообщения, мобильные приложения. Анализ этих сведений можно использовать в коммерции, а также – в отслеживании опасной и подозрительной информации, считает Тобиас Бланк (Tobias Blanke), ведущий лектор факультета цифровых гуманитарных наук в Королевском колледже Лондона. Для контроля данных разработано приложение MobileMiner, и это только часть проекта Our Data, Ourselves (ODO), который будут активно использовать коммерческие и правительственные организации.

Как относиться к тому, что каждый наш шаг, звонок и покупка мгновенно анализируются компьютерными системами, – дело индивидуальное. Герою романа Дэна Брауна «Цифровая крепость» это не понравилось, и гениальный программист создал код, который превзошел все возможные Big Data и попросту уничтожил мощнейший в мире компьютер, сохранив обществу остатки приватности.