"Цифрові магістралі": як український інженер створює Big Data архітектуру для індустрії кінних перегонів у США

За останні роки індустрія кінних перегонів у США активно переходить до використання Big Data та predictive analytics (прогнозної аналітики) для підвищення рівня безпеки й прозорості. Сьогодні централізована система HISA об’єднує дані про понад 90 тисяч коней та понад 3 мільйони записів про перегони й тренування, накопичених із 2022 року. Одним із фахівців, які працюють над розвитком цієї масштабної data-інфраструктури, є український Senior Software Engineer Антон Александрович.

Маючи 11 років досвіду у сфері міжнародних перевезень та операційного управління, він зумів трансформувати знання про глобальні потоки товарів у розбудову складних потоків даних. У проєкті для HISA – приватної саморегулівної некомерційної організації, створеної відповідно до федерального законодавства США, яка перебуває під наглядом Федеральної торгової комісії, – Антон використовує технології світового рівня, такі як AWS (Amazon Web Services) та Palantir Foundry, щоб створювати аналітичні системи, які підтримують виявлення та оцінку потенційних ризиків. Про те, як досвід управління міжнародними логістичними процесами став фундаментом для Big Data архітектури та чому сучасна інженерія – це насамперед про вирішення реальних проблем, – в інтерв’ю OBOZ.UA.

– Антоне, ви вже понад три роки працюєте над інфраструктурою даних для HISA – приватної саморегулівної некомерційної організації, створеної відповідно до федерального законодавства США для впровадження єдиних стандартів безпеки та чесності у перегонах, що перебуває під наглядом Федеральної торгової комісії. Йдеться про централізовану аналітичну платформу, що обʼєднує дані про понад 90 тисяч коней і мільйони записів про перегони, тренування та медичні показники. Розкажіть, у чому саме полягає ваша роль у розбудові цієї системи, і чому така інфраструктура даних стала критично важливою для індустрії?

– Як старший інженер-програміст я брав участь у проєктуванні та створенні "цифрових магістралей", якими рухаються дані. Одним із моїх ключових завдань була розробка архітектури центрального набору даних Runners Data. Це фундамент усієї системи, де агрегуються результати забігів, ветеринарні обмеження та дані про активність коней.

Поясню на прикладі: регулярно надходять великі обсяги даних із різних джерел – результати забігів, ветеринарні дані та відомості про тренування. Моя робота – побудувати автоматизовані data-конвеєри, які збирають усю цю інформацію, стандартизують її, перевіряють якість даних та формують єдину аналітичну інфраструктуру для всієї системи. На сьогодні ми обробляємо понад 3 мільйони записів, які регулярно синхронізуються, оновлюються і доповнюються.

Чому це важливо? Раніше індустрія просто фіксувала факти: "щось десь сталося". А ми створили інструменти, які дозволяють бачити ситуацію наперед. Завдяки цій архітектурі регулятори та ветеринари отримали доступ до централізованої аналітики щодо забігів, тренувань, медичних обмежень та активності коней. І це дійсно змінює підхід до безпеки.

Цей підхід дуже перегукується з моїм досвідом у сфері міжнародних перевезень. Тоді я відповідав за координацію складних логістичних процесів і своєчасний рух вантажів між країнами. Тут я роблю майже те саме, але замість фізичних маршрутів я будую надійні маршрути для даних, від яких залежить ефективність регуляторної аналітики та безпека в індустрії. Я вважаю, що мій внесок – побудова масштабованої data-архітектури, яка об’єднала розрізнені дані в єдину систему для аналізу та прийняття рішень щодо безпеки.

– Ви згадували, що система допомагає раніше виявляти потенційні ризики та закономірності в даних. Наскільки мені відомо, у межах вашої роботи в міжнародній engineering-компанії Kodershop ви використовуєте платформу Palantir Foundry для побудови аналітичних та risk-моделей. Загалом Palantir – одна з найбільших defence tech-компаній світу, відома своїми розробками для урядів та спецслужб. Як на практиці виглядає робота з технологіями такого рівня?

– Це справді інший рівень аналітики та глибини даних. Окремим великим напрямом моєї роботи стала участь у розробці аналітичних моделей саме в середовищі Palantir Foundry. Моє завдання полягало в тому, щоб перетворити мільйони записів про перегони, тренування (workouts) та медичні показники на ефективну систему оцінки ризиків.

Я працював над впровадженням математичних методів моделювання – таких як статистична кластеризація, PCA-аналіз та аналітика виживання Каплана-Мейєра. Ці підходи дозволяють моделі одночасно аналізувати десятки факторів і знаходити приховані закономірності в даних. Фактично модель навчається розпізнавати "історичні патерни": вона порівнює профіль конкретного коня з тисячами попередніх випадків і визначає, наскільки він наближений до груп підвищеного ризику. Крім математичної частини, я приділив значну увагу створенню інструментів візуальної аналітики, щоб надати регуляторам та ветеринарам зручний інтерфейс для швидкого виявлення ризиків.

– Компанія Kodershop спеціалізується на розробці IT-рішень для великого бізнесу та державного сектору. Наскільки важливим для вашого професійного розвитку стало оточення, де поєднуються enterprise engineering, хмарні технології та великі data-системи?

– Це дуже цінний досвід, оскільки Kodershop працює зі складними enterprise та regulatory-проєктами, де критично важливі масштабованість, надійність і якість data-архітектури. Саме в такому середовищі є можливість працювати із сучасними технологіями рівня AWS та Palantir Foundry, а також брати участь у створенні систем, які мають реальний вплив на індустрію.

Але для мене як інженера головним досягненням став саме перехід від реактивного підходу до проактивного моніторингу. Ми з командою працювали над системою, яка допомагає виявляти потенційні ризики та закономірності на більш ранніх етапах. Отримані аналітичні дані можуть використовуватися фахівцями для більш своєчасної оцінки ситуації та прийняття рішень.

– Антоне, розкажіть, а як ви взагалі потрапили в цю сферу? Враховуючи, що ваш шлях в інженерію даних почався після 11 років успішної кар'єри у сфері міжнародних перевезень. Ви працювали в українській компанії, яка займалася поставками товарів із Китаю, Індії та країн Європи. Чи не було страшно залишати керівну посаду, де ви керували командами й масштабними поставками, щоб поринути в світ IT та Big Data?

– Так, дійсно, я пройшов шлях від звичайного менеджера до директора з операційної діяльності у сфері міжнародних перевезень. Але інтерес до IT та програмування з’явився саме завдяки моїй роботі. Як керівник я відповідав за складні міжнародні ланцюги поставок і постійно шукав способи їх оптимізувати. Ми працювали з великими обсягами операційних даних, створювали шаблони та внутрішні інструменти для автоматизації процесів. У певний момент я долучився до впровадження внутрішніх IT-систем як представник бізнесу – і мене "зачепило". Я побачив, наскільки сильно технології можуть масштабувати процеси та змінювати підхід до роботи, і зрозумів, що сам хочу створювати такі рішення.

Перехід справді був непростим. Бути "світчером" – це виклик, бо інженерія вимагає постійного навчання та швидкої адаптації до нових технологій. Але я зрозумів, що попередній досвід – це мій фундамент. Будь-яка ефективна операційна діяльність базується на якісних даних. Логістика навчила мене системно мислити, розуміти складні процеси, потоки інформації та управління ризиками.

– Який головний висновок ви зробили для себе за роки роботи на стику бізнесу та інженерії?

– Я впевнений, що технології самі по собі не є головною цінністю. Найважливіше – це здатність вирішувати реальні проблеми та будувати системи, яким можна довіряти. Мій шлях показав, що найкращі технічні рішення народжуються тоді, коли інженер розуміє не лише код, а й саму природу процесів, для яких він створюється. Сучасний engineering – це насамперед про системне мислення, роботу з невизначеністю та величезну відповідальність за якість рішень.

– Які ваші професійні амбіції на майбутнє? У якому напрямку плануєте розвиватися далі?

– Мене найбільше мотивує можливість будувати системи, де інженерія даних та аналітика безпосередньо впливають на безпеку, прозорість процесів та якість прийняття рішень. Тому в майбутньому планую продовжувати розвиватися в напрямках AI/ML-driven аналітики, предиктивного моделювання та масштабованих data-архітектур для систем моніторингу й безпеки. Я переконаний, що майбутнє – за поєднанням глибокої аналітики, математичних моделей та інфраструктур, які допомагають фахівцям приймати точні та проактивні рішення. Для мене важливо не боятися складних викликів, адже саме вони дають найбільший розвиток.