PolyAnalyst для импортозамещения аналитических продуктов
PolyAnalyst является полностью российским программным продуктом. Система внесена в Единый реестр российских программ для электронных вычислительных машин и баз данных, о чем сделана запись №4414 от 16.04.2018. Разработка PolyAnalyst осуществляется в России и распределена между офисами в Москве и Чебоксарах. Системные компоненты и функциональные модули содержат в своей архитектуре программные элементы собственной разработки.
POLYANALYST, КАК АЛЬТЕРНАТИВА ЗАРУБЕЖНЫМ СИСТЕМАМ
Платформа для интеллектуального анализа данных PolyAnalyst является «сквозной» системой. В ней имеются все инструменты для полного цикла работы с данными. PolyAnalyst позволяет извлекать данные из источника и трансформировать их любым необходимым образом (ETL), проводить обучение математических алгоритмов на исторических данных и строить предиктивные модели (ML), проводить описательный, статистический анализ, вести интеллектуальное исследование больших объемов текстовых данных с применением алгоритмов обработки естественного языка (NLP), а также строить интерактивные графические веб-отчеты для задач в области бизнес-аналитики (BI).
Таким образом PolyAnalyst предлагает функционал, способный в определенной мере заместить целый комплекс иностранных программных продуктов от разных производителей.
Важнейшим значение для пользователя, работающего с системами обнаружения знаний, является возможность обучения математических моделей на исторических данных и высокоточного прогнозирования результатов будущих событий.
PolyAnalyst предлагает широкий набор интеллектуальных алгоритмов для кластеризации и категоризация данных, прогнозирования, анализа связей, определения паттернов и обнаружение аномалий в данных.
Пользователь способен легко решать аналитические задачи, применяя множество доступных аналитических алгоритмов PolyAnalyst таких, как нейронные сети и деревья решений, Байесовский классификатор и метод опорных векторов, адаптивный бустинг и логистическая регрессия, метод рассуждения на основе прецедентов и многомерные адаптивные регрессионные сплайны и еще несколько десятков алгоритмов продвинутой аналитики.
Платформа позволяет работать в соответствии с современным трендом анализа сплошной, а не частичной выборки данных, что доводит точность результатов до 99%.
Подробнее про анализ структурированных данных и машинное обучение в PolyAnalyst>>
PolyAnalyst предоставляет возможность работы не только со структурированными числовыми данными, что традиционно делают типовые аналитические продукты, но и неструктурированными текстами.
PolyAnalyst позволяет применять алгоритмы искусственного интеллекта или лингвистические правила для проведения классификации и кластеризации текстов, извлечения сущностей и фактов, определения тематики и тональности, а также решения множества других прикладных аналитических задач по работе с документами на естественном языке (NLP).
PolyAnalyst собственный (разработанный компанией Мегапьютер) язык для написания лингвистических правил для извлечения паттернов из текста XPDL («eXtended Pattern Definition Language», т.е. расширенный язык для распознавания текстовых паттернов). Этот язык позволяет извлекать произвольные сущности, отношения и факты на основе морфологического, грамматического и синтаксического анализа текстов, в сочетании с семантическим и статистическим анализом. XPDL дает пользователю возможность написания правил для извлечения информации различного типа. К такой информации относятся, например, стандартные сущности, такие как названия компаний, имена людей, даты, географические понятия, модели продуктов, названия лекарств, суммы денег, курсы акций и валют. (система позволит извлекать стандартные сущности без какой-либо настройки - прямо из коробки).
XPDL можно использовать и для извлечения произвольных специализированных сущностей и фактов, т.е. для решения широкого круга бизнес-задач, например, для анализа данных из социальных сетей, медицинских записей, рынка конкурентов. XPDL позволяет иерархически организовать поисковые запросы и находить сложные текстовые паттерны.
PolyAnalyst позволяет работать одновременно с данными из множества различных источников. Система поддерживает подключение к СУБД через программные интерфейсы ODBC/OLEDB (базы данных Oracle, Microsoft SQL Server, Teradata, PostgreSQL, Postegres Pro, MySQL и другие).
Имеется возможность работы с:
• Документами различных форматов: PDF, ASCII, HTML, MS Word, MS RTF, RSS Feeds. XML, CSV, MS Excel;
• Файловыми системами, FTP, JSON, IBM Lotus, MS Sharepoint;
• Файлами изображений с возможностью распознавания посредством модуля OCR.
PolyAnalyst предоставляет аналитику широкий набор мощных инструментов обработки данных, проводящих очистку, агрегирование, обогащение и вывод новых атрибутов. Процесс преобразования данных представляют собой сценарий, состоящий из определенных функциональных узлов (этапов), который можно сохранять, повторять и изменять по необходимости.
Практически любая задача по преобразованию данных может быть решена за счет применения инструментов последовательной предобработки PolyAnalyst:
• Фильтрация данных в соответствии с определенными эвристическими правилами
• Сортировка строк
• Агрегирование данных
• Объединение
• Конкатенация
• Дополнение (формирование таблицы из записей, имеющихся в одной таблице, но отсутствующих в другой)
• Консолидирование данных
• Преобразование данных
• Выборка и разделение
• Формирование производных вычисляемых атрибутов
• Удаление дубликатов
• Развертка транзакций (транспонирование таблиц для проведения поиска ассоциативных правил или корреляционного анализа)
• Свертка транзакций (преобразование данных для подготовки к транзакционному анализу)
• Случайная выборка и генерирование подмножеств
• Транспонирование (преобразование строк в колонки)
• Преобразование строк и колонок
• Извлечение терминов и другие.
Преобразованные данные могут быть загружены в виде словаря, файла таблицы, MS Word, изображения, загружены в удаленное файловое хранилище или базу данных.
Платформа обладает собственным инструментарием создания пользовательских отчетов на основе результатов, полученных в ходе выполнения сложных аналитических проектов. Форматы представления данных включают более 20 наиболее используемых в бизнес-практике вариантов и шаблонов визуализаций.
Имеются широкие возможности по выбору и настройке цветовой палитры, типа визуализации, области детализации, включения графических объектов, например, отображения логотипа компании, привязки данных к интерактивным картам и многое другое.
Отчеты можно запланировать на обновление в нужное время чтобы предоставлять пользователям наиболее актуальных результатов.
Доступ к отчетам предоставляется через любой веб-браузер без необходимости использовать дополнительное программное обеспечение. Отчеты можно скачивать в удобном электронном формате, открывать или ограничивать доступ к отчетам.
Проведение анализа и выгрузка отчета могут быть запланированы для повторного выполнения в определенный пользователем момент времени, при реализации некоторого триггера, например, при наступлении определенного события или обнаружении инцидента (критического отклонения).
Отчеты публикуются как в корпоративной сети, так и в Интернете с возможностью дистанционного и защищенного доступа через веб-браузер.
PolyAnalyst может быть интегрирована в качестве «аналитического ядра» в текущие ИТ системы пользователя, путем обмена данными через механизм API.
Задействовав API для обмена данными с внешним пользовательским интерфейсом, пользователь фактически получает собственный аналитический сервис.
При этом, у пользователя нет необходимости постоянно оперировать данными через графический пользовательский интерфейс системы интеллектуального анализа данных PolyAnalyst: платформа будет работать как «черный ящик с искусственным интеллектом», проводя настроенный анализ и выгружая результаты аналитики в необходимом виде, как файлы, визуальное представление в самом пользовательском интерфейсе, и т.д.
Демо-стенд сервиса, использующего PolyAnalyst, как аналитическое ядро>>