Big Data

«Big Data» представляет собой широкий термин для наборов данных настолько колоссальных или сложных, что традиционные приложения обработки данных являются недостаточными. Большие наборы данных должны быть обработаны с использованием технологии распределенных вычислений, таких как Hadoop или Spark.

Суть стоимости данных заключается в их неограниченном повторном использовании — альтернативной ценности. Сбор информации имеет решающее, но не исчерпывающее значение, поскольку существенная часть ценности находится в применении, а не хранении как таковом. Неспособность же управлять большими данными, с точки зрения конфиденциальности и прогнозирования или неправильное их толкование чреваты глубокими последствиями для компаний.

Если возникают данные трудности и нет возможности справиться с расширением бизнес-требований для доступа и анализа к дополнительным данным, то STG готова оказать помощь в решении данных проблем.

STG поможет воспользоваться лучшими технологиями Big Data для использования, расширения и применения ваших данных. Наш опыт в области платформ Hadoop, на основе баз данных массивно-параллельной обработки (MPP), SPARK, облачных и локальных систем хранения данных, а также других новых технологий поможет вашему предприятию получить опыт, пользу и выгоду с помощью использования Big Data.

STG оказывает следующие услуги в данном направлении:

  • Проектирование информационных систем;
  • Разработка архитектуры и имплементация вычислительного кластера для обработки, тренировки, распознания и анализа;
  • Установка и настройка Cloudera, Hortonworks и других Hadoop дистрибутивов;
  • Обработка данных с использованием Hive, Sqoop, Pig, and Spark;
  • Разработки с использованием Java, Python и Scala;
  • Интеграция с Amazon Web Services (AWS) и сред Microsoft Azure;
  • Обработка NoSQL с MongoDB, HBase и др.;
  • Реляционный анализ с Redshift, Vertica, Teradata и другими системами;
  • Аналитика с Spark, R, Python и другими;
  • Применение графических процессоров от NVidia для ускорения обработки, тренировки, распознания и анализа;
  • Визуализация и анализ с Datameer, Alpine Labs Data, Tableau и др.

Наши специалисты имеют глубокие знания методов статистического анализа данных, построения математических моделей (нейронные сети, байесовские сети, кластеризация, регрессионный, факторный, дисперсионный и корреляционный анализы и т.п.), имеют опыт работы с такими статистическими инструментами, как SPSS, R, MATLAB, SAS Data Miner, умеют решать задачи по аналитической обработке массивов данных (кластеризация, классификация, прогнозирование, выявление паттернов) в различных прикладных предметных областях, используют следующие методы машинного обучения: линейная регрессия, логистическая регрессия, искусственные нейронные сети, в том числе спайковые нейронные сети, метод опорных векторов, метод ближайших соседей.

STG занимается разработкой информационно-аналитических систем безопасности, позволяющей контролировать, анализировать и охранять от несанкционированного доступа информацию. Также эти системы позволяют ликвидировать вероятность потери или копирования информации, и, как следствие, приводят к повышению эффективности в управлении организацией. STG выполняет «под ключ» и обслуживает проекты любой сложности для широкого спектра задач в области Big Data.

STG имеет наработки в области статистического моделирования. Диапазон применения метода статистического моделирования весьма широк. Он включает в себя такие задачи, как моделирование случайных процессов, определение характеристик рассеивания случайных величин, вычисление интегралов, решение систем уравнений, решение задач массового обслуживания, решение задач теории игр, оптимизация функций при случайном поиске решения и др. Статистическое моделирование применяется в следующих направлениях:

  • Бизнес-процессы;
  • Бизнес-симуляция;
  • Боевые действия;
  • Динамика населения;
  • Дорожное движение;
  • ИТ-инфраструктура;
  • Математическое моделирование исторических процессов;
  • Логистика;
  • Пешеходная динамика;
  • Производство;
  • Рынок и конкуренция;
  • Сервисные центры;
  • Цепочки поставок;
  • Уличное движение;
  • Управление проектами;
  • Экономика здравоохранения;
  • Экосистема;
  • Информационная безопасность;
  • Релейная защита.