Визуализация распределенных данных, при администрировании распределенных сетей и их узлов. Часть-I, Визуализация онлайн данных, визуализация в интернете, визуализация рас Опции

Всем доброго дня или ночи!
(Давно не был на данном ресурсе, вот решил вернутся... )

Пролог:
Снежная Сибирь 2006 года, ваш покорный слуга изучает(парит себе мозги) работу параллельных алгоритмов в рамках государственной программы: по модернизации оборудования гражданских радиолокационных комплексов - системами АСУ, на базе ASIC, программируемых логических интегральных схем, компаний: "Altera" and "TI". Изучение данных систем, особенно выявленные баги в рамках работы комплекса АМРК "Мерком-А", натолкнули меня, на мысли о создании собственной структуры, типа: распределенной вычислительной сети с глубоким параллелизмом и применением нейроалгоритмов. В тот период еще не было таких трендов в IT, как всякие Tor и i2p, с mesh-сетями. Но мысли были...
Ячеистая сеть была самой интересной в плане отказоустойчивости и стабильности в работе, поэтому была взята за базу, плюс сверху легли: кластеризация, а потом после изучения доступных материалов о технологии: Tor and i2p, и после начала анонимусного движения: "The Plan" в 2011 году (в этом году я впервые вступил в него, мда было время)) ), стала воплощаться в реальность мысль, о собственной распределенной mesh/grid - сети в рамках двух континентов на планете.
Если кратко, о личной хронологии событий:
1. 2006-2007 гг., мысли и теоритизм чистой воды
2. 2007-2008 гг., занятие немного от темы, вопросами физического ускорения расчетов в рамках кристаллографии и индустриальной химии. Но корпоративная закалка в БАЗЭЛе, помогла очень сильно, в рамках проекта "Русский кремний":)
3. 2009 - 2010 гг., "возня" с Nvidia Tesla - физические ускорители в количестве 5 штук, были размещенны в трех российских городах и в маленьком городке на юге Австралии (целых два ускорителя, замечу...).
4. конец 2010 года - тестовый запуск почти работоспособной сети, с красивым женским именем - "Angelina".
5. середина 2011 года - проект продолжает набирать обороты, есть даже стабильное финансирование из-за рубежа!
6. конец 2011 года, запуск рабочей структуры - network "Angelina":)
Которая и по сей день отлично пашет, на своих авторов и спонсоров!
Вот в рамках "этих творческих мук", и пришла мысль о визуализации рабочих процессов по управлению такой структурой!? А именно о способах визуализации рабочего процессса в рамках постоянного мониторинга узлов и администрирования сети!

За базис было взято:
1. GraphML - Проект GraphML был начат комитетом "Graph Drawing Steering Committee" до начала симпозиума Graph Drawing 2000 в Вильямсбурге. Рабочая встреча относительно формата файла была проведена накануне симпозиума, и на ней было согласовано создание группы, которая определила новый, основанный на языке XML, формат файла, который должен в конечном счете лечь в основу стандарта описания графов.
С тех пор, язык был расширен в части поддержки основных типов атрибутов и в части включения информации для использования синтаксическими анализаторами. Следующим важным шагом в расширении языка будет включение абстрактной информации для описания топологии графа и шаблонов с помощью которых эту информацию можно было бы преобразовать в различные графические форматы. Программное обеспечение для поддержки работы с GraphML находится в стадии разработки.
GraphML создается многими людьми, находящимися в различных местах. Наравне с другими текущую работу координируют: Ulrik Brandes (University of Konstanz); Markus Eiglsperger; Michael Kaufmann (University of Tübingen); Jürgen Lerner (University of Konstanz); Christian Pich (University of Konstanz).

В консультативную группу входят: Ivan Herman (CWI); Stephen North (AT&T Research); Roberto Tamassia (Brown University).

На этапе формирования структуры активно работали, или были подписаны на полуоткрытый список обсуждения GraphML: Michael Himsolt (DaimlerChrysler); M. Scott Marshall (then CWI); Vladimir Batagelj (University of Ljubljana); Anne-Lise Gros (LIRMM); Carsten Gutwenger (Caesar); David Jensen (University of Massachusetts); Serban Jora (AT&T Research); Sascha Meinert (University of Tübingen); Guy Melancon (LIRMM); Petra Mutzel (Technical University of Vienna); Maurizio Patrignani (University of Rome III); Tim Pattison (DSTO); Matthew Phillips (DSTO); John Punin (Rensselaer Polytechnic Institute); Susan Sim (University of Toronto); Adrian Vasiliu (Ilog); Vance Waddle (IBM Research); Andreas Winter (University of Koblenz).

Наши российские парни, а также их комрады из Австралии, внесли свою лепту в области: отличного кодинга в сфере "заточки" интерфейса для управления и визуализации структуры работающей сети "Angelina", были написаны соответствующие модули и рабочие скрипты и т.д.

Вышло в стабильном варианте, вот это:



и еще:



Продолжение следует....

(Кстати применение графов, очень интересный процесс визуализации структурных данных! И особенно в области динамического управления, просто сухие текстовые данные в терминале, думаю надо оставить 20 веку, когда на дворе второй десяток лет 21 века.

Для любителей почитать:

1. Визуализация работы DNS-сети.
Реализация проекта: 2010-2011.
Визуализация онлайн данных, трехмерная визуализация в интернете, визуализация интернет трафика, визуализация распределенных данных, Processing Java.
Технологии: Processing 1.2, Java SE, OpenGL (JOGL), GLSL.
Заказчик: Dyn, Inc. (USA).
Цель проекта — визуализация в реальном времени динамически изменяемой информации, расположенной на серверах компании DYN. Обрабатываемые данные – информация о загруженности сети, числе запросов пользователей, местоположении и направлении адресов запросов, загруженности отдельных серверов, информации по трафику и т.п. Форма визуализации данных должна была быть в трехмерном и в двухмерном виде.
В трехмерном виде вывод информации осуществлялся в виде эффектов на глобусе земли: динамически распространяемые лучи, эффекты затенения и мерцания, установка флажков компании, изменение текстур, создание цветовых градиентов и переливов от серверов и т.д. Были реализованы все возможности по управлению сцены — повороты, масштабирование, горячие клавиши управляющие видимостью отображаемых данных и т.д.
В дополнение, всю информацию необходимо было выводить в виде динамически-обновляемых графиков и таблиц.

2. Программа для визуализации движения электронной почты на серверах компании DYN.
Реализация проекта: 2013.
Теги: визуализация распределенных данных, трехмерная визуализация в интернете, визуализация графа, движение электронной почты, разработка технического задания, трехмерная веб визуализация.
Технологии: OpenGL, GLSL.
Заказчик: Dyn, Inc. (USA).
Концепт программы для отображения движения электронной почты от отправителя до конечного адресата при использовании серверов компании DYN с учетом оговоренных технических особенностей и ограничений по ресурсам и срокам разработки. Сложность поставленной задачи заключалась в следующем: 1) исходные данные представляли собой разнородную информацию, хранящуюся на различных серверах в интернете; 2) объем исходных данных был большим и при этом постоянно-обновляемым; 3) необходимо было, чтобы каждый пользователь компании, имел возможность просмотра этой информации через Web в наглядном виде, включая 3D.
В результате проведенной работы, был разработан концепт отображения данных, описаны технические требования, технологии и оценены ориентировочные сроки, необходимые для реализации этого проекта.)