Как улучшить управление данными Excel с помощью API через Python, R, Rust…

Когда новички в API могут расширять Excel, а DevOps может раскрыть свои возможности кодирования.

Об этой статье:
За последние годы, проведенные в мире банковского дела и финансовых технологий, я заметил некоторые важные изменения в технологическом поведении в отношении анализа данных. В этой статье рассказывается об эволюции инструментов анализа данных и о том, как пользователи Excel и DevOps адаптируются к ним.

Начиная новый бизнес в этой области, я подумал, что было бы полезно поделиться своим подходом, взглядами, а также некоторой информацией о том, что мы создали на XLbroadcaster.io.

Содержание:

1. API или новая нормальность потребления данных

2. Методологии анализа данных на основе Excel сталкиваются с парадоксом.

3. Младший код и отсутствие кода: новая тенденция

4. Король мертв, да здравствует королева: Эксель и его поклонники

5. Краткий обзор XLbroadcaster.io и обзор текущих решений.

1] API или новая нормальность для потребления данных

API становится основной тенденцией потребления данных. Использование Интернета эволюционировало; это не только способ доступа к данным для пользователей-людей, но и обычный инструмент для компьютеров, позволяющий обмениваться данными друг с другом путем вызова API.

Кроме того, особенности, связанные с каждым языком программирования рождают сложный ландшафт, к которому системы и разработчики должны адаптироваться.

Хотите прочитать эту историю позже? Сохранить в журнале.

Давайте быстро погрузимся в два примера языков программирования, которые демонстрируют мою точку зрения:

- R, которого не было в 2010 году, сейчас является широко используемым языком программирования. На самом деле R очень хорошо подходит для удовлетворения растущих потребностей в создании статистического программного обеспечения, а также анализа данных.
Взгляните на Индекс Tiobe (Индекс сообщества программистов TIOBE является индикатором популярности языков программирования) и проверьте годовую динамику R (красным на графике ниже) в их рейтинге до 9-го места в 2021 году.

- Julia, в настоящее время является модным языком программирования благодаря его способности предоставлять более быстрые результаты вычислений по сравнению с Python или R. Будет ли Джулия прорваться, как R?

Стоит отметить, что существование и появление (новых) библиотек является фундаментальным катализатором для разработчика, чтобы перейти с одного языка на другой!

Отсутствие зависимости от языков программирования станет стандартом для интерфейсов. Вы просто хотите подключиться к лучшим внешним или внутренним источникам данных, не беспокоясь о каких-либо ограничениях того или иного языка программирования.
API по сути являются ответом на эту потребность!

2] Методологии анализа данных на основе Excel сталкиваются с парадоксом

а) С одной стороны, наши ожидания в отношении инструментов управления данными для Excel становятся все более сложными. Трудно столкнуться со следующими «классическими» ловушками:

- довольно медленные вычисления.
- сложное управление большими файлами.
- плохие возможности для совместной работы.
- ограничения макросов для управления развертыванием и управлением версиями.
- макросы VBA не всегда хорошо подходят для конкретных требований.

Что касается VBA, ознакомьтесь с опросом 2020 от StackOverflow об их интересе разработчиков к использованию языков программирования.
Вот результат: VBA сегодня наименее любимый язык / выделено красным ниже

В настоящее время предприятиям, которым требуются сильные навыки управления данными, требуются различные способности и навыки, например:

Работа с возрастающей сложностью ценовых / поведенческих / прогнозных / статистических моделей
Накачивание моделей за счет более быстрого расчета, легкого развертывания и надежных кодовых баз
Простая интеграция со сторонними данными для улучшения этих моделей
Работа со все более крупными наборами данных

б) С другой стороны, Excel по-прежнему широко используется в качестве наиболее распространенного (и удобного) интерфейса для структурированных данных во всем мире.
Причина очень проста: это остается наиболее гибким и интуитивно понятным решением для управления структурированными данными. Это суперэффективный инструмент для быстрого создания информационных панелей или интерфейсов без необходимости программирования.

Сравнительный отчет Роберта Пола (Рисунок 21 -p38) показывает ведущие типы инструментов бюджетирования и планирования в Северной Америке; вы можете видеть, что Excel по-прежнему широко используется, гораздо чаще, чем любое другое решение на рынке.
Отчет также показывает, что, хотя Excel остается самым популярным инструментом, он продолжает терять позиции в качестве предпочтительного инструмента. прошлые годы. В отчете подробно говорится, что почти 60% фирм с доходом менее 25 миллионов долларов США указали, что Excel является их предпочтительным инструментом для составления бюджета и планирования, что является замечательной производительностью. Однако это на 10% меньше, чем в их отчете за 2018 год, и примерно на 20% - по сравнению с 2017 годом.

В двух словах:

›Специалисты по обработке данных и аналитики обоснованно пренебрежительно относятся к Excel

›Большинство предприятий по-прежнему работают с данными Excel

›Альтернативные решения пытаются получить кусок пирога

Реальность такова, что средние знания аналитиков в области программирования улучшаются. Они начинают использовать сценарии, чтобы сократить трудоемкие задачи, которые обычно выполняются вручную или через Excel.

3] Младший код и отсутствие кода: новая тенденция

Если мы согласны с тем, что существует корреляция между нашей все еще низкой способностью извлекать выгоду из глобального цифрового подхода и отсутствием образованных ресурсов для поддержки его технологий, мы должны также согласиться с тем, что нам нужен «ярлык».

Здесь стоит упомянуть, как сообщает Gartner, что спрос на бизнес-приложения в пять раз превышает возможности внутренних организаций. Нехватка разработчиков программного обеспечения и ИТ-специалистов является основным фактором, способствующим этим ограниченным возможностям.

Поэтому появление «гражданских разработчиков» звучит как естественная эволюция. «Гражданские разработчики» - это сборщики программного обеспечения: при минимальном обучении программированию или его отсутствии умный парень может создавать новые программные возможности, которые, в свою очередь, могут помочь ускорить цифровую трансформацию бизнеса. Это то, что мы называем технологией с низким кодом и без кода (LCNC).

Тенденция к разработке программного обеспечения LCNC представляет собой рост этого нового класса специалистов по обработке данных и аналитиков, которые не являются традиционными разработчиками программного обеспечения. Внезапно инновации становятся доступными и быстрее даже при нехватке разработчиков программного обеспечения и ИТ-специалистов.

В банковской сфере эта тенденция уже выходит на новый уровень. Цитата Джезри Мохидина, директора по цифровым технологиям в Nomura: «Nomura будет все больше ориентироваться на физиков, а не на экономистов, и будет искать сотрудников с более глубоким пониманием статистики, математики и информатики прямо из университета».

При этом LCNC имеет некоторые ограничения, описанные Алексом Шмелькиным, директором по маркетингу Unqork Inc: «Предложения с низким кодом обеспечивают эффективность, повышающую продуктивность разработчиков, но почти все они требуют кодирования для выполнения сложных задач. (…) Этот новый код становится унаследованным с того момента, как он написан, и воссоздает те же проблемы, которые требуют исправления с низким кодом / без кода ».

Таким образом, платформы LCNC по-прежнему требуют определенных ИТ-мощностей, по крайней мере, для предоставления полных гибких решений.

4] Король мертв, да здравствует королева: Эксель и его женихи

Честно говоря, вышеупомянутый парадокс Excel также вызван непониманием того, что на самом деле означает технология в нашей экономике. Нам не хватает более широкого участия на уровне руководства в разных отраслях, чтобы эффективно распределять преимущества цифрового подхода и учебные ресурсы для поддержки технологий.

Я считаю, что мы уже на правильном пути, но мы должны признать, что наша «устаревшая система» замедляет эту эволюцию. Можно ли рассматривать Excel как устаревшую систему - вопрос справедливый. Тем не менее, сегодняшняя реальность очевидна: организации обращаются к индивидуализированным или гибридным решениям с Excel.

В зависимости от размера бизнеса бремя ИТ-ресурсов или ИТ-инвестиций оказывает большое влияние. По моему опыту, большинство малых и средних предприятий занимают следующую позицию: давайте просто расширим Excel!
Это имеет большой смысл, учитывая стоимость входного билета для полностью нового решения для этих предприятий. Цена и / или время, необходимое для обучения и привыкания к новой системе, все еще воспринимаются как слишком высокие.

Вот мое понимание ситуации:

* Все больше и больше крупных корпораций и новых предприятий уходят за пределы Excel, главным образом потому, что у них обычно есть сильная поддержка руководства в пользу технологического мышления и бюджета, чтобы стимулировать его.

* Для действующих предприятий малого и среднего бизнеса и некоторых конкретных отраслей, таких как финансы, я считаю Excel мертвым королем, но также и новой королевой, окруженной решениями, позволяющими включать API-интерфейсы и тенденцию LCNC в Excel.

5] Краткий обзор XLbroadcaster.io и обзор текущих решений

Сосредоточьтесь на XLbroadcaster.io

XLbroadcaster.io превращает Excel в интерфейс API, не требующий никаких строк кода. Он дополняет Excel (версии с 2003 года до наших дней) через независимый соединитель к вашим любимым API и предпочтительным языкам программирования и обратно.

XLbroadcaster.io преследует следующие цели:

* Отсутствие эффективного подключения кода к REST API напрямую в / из Excel

* Повышение вычислительной мощности Excel и задержки обновления путем вызова функций в Python, R, C ++, Java, Julia, Rust и т. Д.

* Создание надежной независимой системы без проблем с развертыванием и управлением версиями.

* Раскрытие знаний о программировании DevOps и обеспечение их доступности для каждого «базового пользователя Excel»

Благодаря XLbroadcaster.io вы можете наслаждаться пользовательским интерфейсом Excel, расширяя возможности ваших вычислений, бизнес-логики и доступа к данным с помощью наиболее подходящего API или языка программирования.

Примеры классических вариантов использования:

* Эффективное подключение к API напрямую в / из Excel
Наши встроенные функции Excel позволяют импортировать данные из REST API без написания сценария (VBA или любого другого другой вариант). Просто используйте наши функции xlbc_get () или xlbc_post (), и данные будут отправлены в ваши электронные таблицы.
В противном случае загрузите данные из Excel в любой REST API и связанное с ним хранилище данных.
Наши функции get (или post): = xlbc.get («URL-of-the-API» ,, «Cell»)
мгновенно транслируют данные, причем «Cell» является ячейкой-указателем для размещения данных.
Данные в реальном времени через Websocket часто необходимы в некоторых отраслях, например, в финансах. XLbroadcaster.io также предоставляет функцию Real Time / Websocket.

* Расширяйте модели на основе Excel и улучшайте бизнес-логику DevOps
Excel великолепен своей гибкостью и мощью, которые он дает пользователям настольных компьютеров, но ему не хватает вычислительной мощности. Заполните этот пробел, переведя вычислительно-ресурсоемкие функции на более эффективный язык (Python, R, Rust, C ++…).
XLbroadcaster будет отправлять параметры и форматировать результаты непосредственно в электронные таблицы Excel. Любые изменения в ваших функциях будут мгновенно доступны для всех.
Откройте свой код каждому «базовому пользователю Excel» и забудьте о проблемах с развертыванием.

* Защищенный обмен конфиденциальными данными от одного пользователя Excel к другому (как обмениваться данными непосредственно из одной удаленной электронной таблицы Excel в другую)
. безопасный и эффективный способ перехода от таблицы Excel к любому API или напрямую к другой таблице Excel.
Воспользуйтесь нашим API через Databroadcaster, чтобы создать емкость для передачи данных Excel с помощью сквозного шифрования.
Возьмите верните контроль над своими данными, сохранив при этом классический интерфейс Excel для хранения конфиденциальных данных и управления ими.

Обзор актуальных решений

Ниже вы можете найти краткий обзор текущих доступных решений. Это ни в коем случае не исчерпывающий список.

В первую очередь стоит упомянуть следующие инструменты:

· ToolPak, Power Pivot, Power Query или даже «Лямбда-функции» :. Это проприетарные решения Microsoft, уже включенные в современные версии Excel.

· Google Sheet: программа для работы с электронными таблицами, входящая в состав бесплатного веб-пакета редакторов Google Docs Editors, предлагаемого Google.

Заявление об ограничении ответственности

Если вы считаете, что я пропустил важные шаги или пренебрегал некоторыми аспектами, не стесняйтесь обращаться к нам и указывать на это.

Всегда рады конструктивным отзывам, просто снимайте.

Луи Деваврен.
[email protected]

📝 Сохраните эту историю в Журнале.