Как известно орбитальная группировка компании DigitalGlobe ежедневно генерирует более 80 терабайт новых изображений, добавляя их к уже накопленным за 19 лет 100 петабайт информации. При этом, особую техническую сложность составляет не само хранение таких объемов данных, а создание систем аналитической обработки, которые позволят коммерческим и военным структурам получать результаты обработки изображений как можно быстрее. В связи с этим ранее компания DigitalGlobe разработала систему SecureWatch/EarthWatch, которая занимается потоковой предобработкой и сжатием данных, однако, с увеличением объемов данных это решение все менее устраивало компанию поскольку:

1. Компания тратит много ресурсов на обработку и хранение большого количества точек, которые никогда не используются. 2. Высокая степень сжатия ухудшает удобство использования изображений, что особенно критично для машинного обучения. 3. Обычно в изображении используются RGB кодировка цвета точки, однако возникают сложности при необходимости наложения других спектральных диапазонов. 4. Предобработка и сжатие являются необратимым процессом, а следовательно пользователи теряют часть возможностей по анализу данных. В качестве решения этих проблем в компании осуществили перенос своей системы потоковой обработки в облачную систему Amazon AWS и за счет больших вычислительных возможностей сделали так, чтобы информация не предобрабатывалась, а генерировалась в режиме реального времени.