Закрыть и перейти на сайт ComNews.RU
Новости Редколонка Точка зрения

Вт, 25.09.2018

Полная версия сайта   

 Поиск
USD 66.16 EUR 77.68
25 сентября 2018 года, Вт

Eastwind разработал модуль DataFlow

21.06.2018

Дата сайентисты смогут работать с аналитическими моделями прямо на кластере Hadoop.

КАКАЯ БОЛЬ 

Данные – топливо современного бизнеса. На информации в компаниях завязаны маркетинг, customer care, оптимизация внутренних процессов, контроль над ситуацией на рынке и многое другое. От качества, скорости работы, точности и своевременности предсказаний дата сайентиста зависит, как будет развиваться бизнес в целом и его отдельные направления. Когда аналитик работает с привычными для него инструментами, он не зависит от внешних факторов при выполнении задач. Но когда данных становится очень много, их загружают в Hadoop. И тут, многие, кто работает с большими объемами данных, сталкиваются с проблемой взаимодействия отделов разработки и аналитики.

ПЛОХАЯ НОВОСТЬ:

У БОЛЬШИНСТВА[1] КОМПАНИЙ ВСЕ СЛОЖНО С DATA SCIENCE VS DEVOPS

Проблема возникает, когда разные специалисты должны работать над единой задачей: например, анализом клиентской информации. Каждый из них обладает своим стеком инструментов, результат работы которых сложно копировать. Они кодят на разных языках, используют разный подход в работе. Так, дата сайентист телеком-оператора может построить гениальную аналитическую модель, работая над выборкой: на своей локальной машине, на языке python. Но когда он принесет ее DevOps-разработчику и попросит перенести в продуктив на всю абонентскую базу, тому придется переписать модель, например, на язык java и запустить в Hadoop. Скорее всего, получится не с первого раза. Часто бывает, что не получается переписать модель в точности – по техническим причинам. Плюс, добавляются сложности общения специалистов, которые фактически говорят на разных языках (программирования). Из-за этого выполнение задачи серьезно затягивается, качество на выходе падает, и все это попросту треплет всем нервы.

ХОРОШАЯ НОВОСТЬ: МЫ ЗНАЕМ, КАК ВСЕ ИСПРАВИТЬ

EW DataFlow помогает аналитику работать с данными на Hadoop, минуя DevOps-инженеров. Модуль подключается напрямую к кластеру и выводит всю необходимую информацию об имеющихся данных в удобный UI. Таким образом, EW DataFlow выступает в качестве переходника или адаптера для Hadoop. В комфортной и интуитивно понятной среде модуля дата сайентист может работать с big data на привычных для себя инструментах: быстро и без посредников. Разработчикам нужно только развернуть систему. Под капотом модуля – кластерные инструменты для расчетов, но весь код непосредственно в UI аналитик будет писать на python.

КАКИЕ ЗАДАЧИ ДАТА САЙЕНТИСТ МОЖЕТ РЕШАТЬ В EW DATAFLOW

  • Подключать новые источники данных.
  • Производить любой процессинг данных (семплирование, исследование, построение моделей, мониторинг и т.д).
  • Запускать модели в продуктив и тюнинговать их.
  • Моментально узнавать о проблемах в работе, находить ошибки в коде и править.
  • Управлять всеми расчетами на кластере.
  • Экспортировать результаты работы в файлы

ВОЗМОЖНОСТИ ИСПОЛЬЗОВАНИЯ

Экспортированные файлы с данными можно загружать в любые аналитические системы. Мы предлагаем два варианта поставки модуля EW DataFlow: как отдельный продукт – для тех, кто уже работает с данными автоматизировано или вручную, и с платформой EW Social Analytics – для тех, кому нужно комплексное решение для аналитики.

"Раньше, когда возникали проблемы с данными на Hadoop, у нас над одной задачей садились работать два человека: дата сайентист и разработчик, – рассказывает Павел Олифер, руководитель отдела социальной аналитики Eastwind.Компания теряла время и деньги. Мы создали EW DataFlow, чтобы такого не было. Модуль делает работу дата сайентиста на кластере Hadoop прозрачной. Сам написал код, сам запустил, сам мониторишь. Если что – сам исправил. Ведь аналитика для бизнеса должна быть быстрой и актуальной. Только тогда она будет давать нужный эффект и приносить профит".

КОМУ НЕ НУЖЕН МОДУЛЬ EW DATAFLOW

  • Тем, кто не работает с данными на Hadoop.
  • Тем, кто растит универсальные кадры (учит аналитиков разработке или разработчиков аналитике) и готов, что их постоянно будут переманивать конкуренты.
  • Тем, кто сделал кастомное решение проблемы и готов постоянно поддерживать его актуальность – ведь Hadoop все время меняется. 
  • Тем, кто не гонится за эффективностью и скоростью в аналитической работе.

Если это не про вас, узнайте больше и закажите презентацию продукта на сайте Eastwind.

О компании Eastwind

Eastwind – российский производитель и поставщик программного обеспечения. Внедряем, интегрируем и кастомизируем комплексные IT-решения в области телекома, big data и ритейл.

За 20 лет работы: 160 инсталляций для операторов мобильной и фиксированной связи и сервис-провайдеров в 9 странах мира. Eastwind предоставляет полный комплекс услуг по инсталляции и техническому сопровождению своих продуктов: предпроектные исследования и аудит, поставка и внедрение, обучение и консалтинг, интеграционные работы и техническая поддержка любого уровня.

http://www.eastwind.ru/


[1]По результатам личного опроса специалистами Eastwind 15 компаний, работающих с Hadoop.

При использовании материалов ссылка на ComNews обязательна.

Свидетельство о регистрации СМИ от 8 декабря 2006 г.
Эл № ФC 77-26395

РекламаПисьмо в редакциюО насAbout us
Новости