Доработка системы реализуется в рамках грантового проекта совместно с РФРИТ
Big Data Analytics обозначает обработку структурированных и неструктурированных данных по-настоящему огромных объемов. На необходимость такой аналитики данных впервые обратили внимание в конце 2000-х годов, когда стала прослеживаться тенденция наращивания количества информации в мире.
Системы аналитики данных Bi и смежные с ней тематики задали тренд развития аналитики на долгие годы вперед, если не навсегда. Существуют обоснованные статистическими выкладками прогнозы, что в 2025 году объем информации, генерируемой человечеством, достигнет 400 зеттабайт, что соотносимо с 400 миллиардами гигабайт.
Система аналитики данных PolyAnalyst GRID позволяет организациям проводить анализ в полном смысле Больших Данных, включающих миллионы документов и миллиарды записей. Особенностью новой системы является возможность как распределенного хранения данных, так и проведение распределенных вычислений на кластере из десятков вычислительных серверов.
Функционально новая система аналитики данных во многом похожа на платформу PolyAnalyst, и большинство аналитических модулей односерверной версии будут включены в состав инструментов PolyAnalyst GRID. При этом, GRID является абсолютно оригинальной разработкой, реализуемой на принципиально новой кластерной архитектуре.
Компания Мегапьютер и Российский фонд развития информационных технологий ведут активное сотрудничество в рамках государственной программы поддержки проектов по разработке и внедрению российских решений в сфере информационных технологий.
За счет средств гранта осуществляется реализация проекта по доработке «Кластерной системы интеллектуального анализа данных PolyAnalyst GRID». Проект начался 1 января 2022 года и включает два этапа реализации. В июне команда проекта успешно завершила все этапы доработки.
Система аналитики больших данных PolyAnalyst GRID выполняет распределенное хранение и анализ данных на совокупности серверов (узлов кластера), работа которых координируется сервисом базы данных — PolyAnalyst Database Server. Отдельные серверы узлов кластера могут работать как на физических, так и на виртуальных машинах с ОС Linux или MS Windows.
С наступлением эры Big Data традиционные аналитические инструменты и классические средства хранения данных оказались абсолютно не в состоянии справиться с гигантскими информационными потоками. В связи с этим возникла острая необходимость поиска совершенно новых подходов к управлению и анализу данных, которые позволили бы решить три основополагающих задачи, обусловленные ключевыми характеристиками Big Data — их колоссальным объемом (volume), скоростью генерирования контента (velocity) и его разрозненностью и вариативностью (variety). Это обусловило необходимость перехода к технологиям распределенных вычислений.
В массиве накопленной информации содержатся сведения, с помощью анализа которых можно с высокой точностью прогнозировать спрос на продукцию для промышленных предприятий, персонализировать маркетинговые предложения покупателям розничных сетей, просчитывать загруженность транспортных систем, выявлять аномалии в работе сложного оборудования и многое другое.
Система аналитики данных (Big Data Analytics) позволяет проводить анализ структурированных и неструктурированных данных при помощи современных интеллектуальных технологий, которые смогут выполнить глубокий анализ в этой среде. Подобные технологии успешно применяются при расчетах с помощью информационно-аналитической платформы PolyAnalyst GRID.
Это инновационная система углубленной аналитики, которая поддерживает распределенную обработку данных. PolyAnalys GRID способна проводить распределенное хранение и анализ больших данных на кластерах машин относительно невысокой мощности. Кроме этого, при создании платформы использовались эксклюзивные разработки высококвалифицированной командой российских программистов и аналитиков компании Мегапьютер.
Ключевым отличием от прочих систем является поддержка распределенного хранения данных и распределенных вычислений на кластере серверов. Распределенное поколоночное хранилище собственной разработки позволяет загружать в систему и обрабатывать сверхбольшие объемы данных, которые в принципе невозможно обработать на одном сервере. При загрузке данные распределяются по всем серверам кластера примерно одинаковыми порциями и далее могут параллельно и одновременно обрабатываться на них. Система аналитики данных PolyAnalyst GRID использует методологию распределенных вычислений map-reduce. При запуске аналитического алгоритма происходит анализ входных данных и процесс вычислений расщепляется на отдельные задачи, построчно или поколоночно. Информационно-аналитическая платформа PolyAnalyst GRID предлагает самые востребованные на рынке Big Data Analytics инструменты интеллектуальной аналитики.
Важное уточнение! От пользователя платформы не требуется обладание навыка программирования. Достаточно воспользоваться интуитивно понятным визуальным интерфейсом, чтобы провести глубокий интеллектуальный анализ данных.
Данные загружаются из любых источников. Доступны широкий набор видов визуализаций и вариантов экспорта результатов анализа.
По своим возможностям PolyAnalyst GRID способна конкурировать с самыми продвинутыми зарубежными аналитическими платформами. В условиях нестабильной международной обстановки и обостряющегося санкционного давления на российские компании, использование в работе отечественных система весьма актуально. PolyAnalyst GRID позволит быстро и эффективно решить даже самые сложные аналитические задачи.
Продукты Мегапьютер, в том числе кластерная система интеллектуального анализа данных PolyAnalyst GRID, распространяется путем передачи неисключительной лицензии. Дистрибутив системы разворачивается в контуре заказчика по модели On-Premise, что позволяет не выводить пользовательские данные вовне.
Конфигурация лицензии складывается из трех основных метрик: число вычислительных серверов в кластере, производительность кластера и пользовательские лицензии.
Таким образом лицензия имеет сложную конфигурацию, которая формируется индивидуально под потребности заказчика в зависимости от объема данных и интенсивности их обработки. В соответствии с конфигурацией в индивидуальном порядке рассчитывается стоимость лицензии. Для формирования корректной конфигурации лицензии и получения информации о стоимости необходимо заполнить веб-форму. Мы в самые кратчайшие сроки направим ответ.