Validating Architectural Hypotheses in Neural Decision Trees with Neural Architecture Search

Simple item page
dc.contributor.authorMykytyshyn, Artem en_US
dc.contributor.authorShvai, Nadiia en_US
dc.date.accessioned2026-02-04T07:17:17Z
dc.date.available2026-02-04T07:17:17Z
dc.date.issued2025
dc.descriptionУ цій роботі запропоновано автоматизовану та об’єктивну методику перевірки архітектурних гіпотез за допомогою пошуку нейронних архітектур (Neural Architecture Search, NAS). Основна ідея полягає в застосуванні NAS як інструменту для оцінки теоретичних припущень щодо структури моделей без ручного налаштування архітектур або впливу суб’єктивних рішень дослідника. Для демонстрації підходу було перевірено гіпотезу про те, що складність вузлів у нейронних деревах рішень (Neural Decision Trees, NDTs) зменшується зі збільшенням глибини дерева. Це припущення зустрічається в науковій літературі та використовується як обґрунтування для побудови спеціалізованих архітектур, однак раніше не було перевірене на систематичній експериментальній основі. У межах дослідження було розроблено повністю автоматизований експериментальний фреймворк для генерації, навчання та оцінювання сотень архітектур NDT з різними конфігураціями вузлів. Для пошуку ефективної структури дерев було використано метод баєсівської оптимізації (Treestructured Parzen Estimator, TPE). Складність вузлів оцінювали за кількома метриками: кількістюпараметрів, кількістю обчислювальних операцій, кількістю нейронів у шарі та глибиною шару. Для аналізу зв’язку між глибиною вузлів і їхньою складністю застосовували коефіцієнт рангової кореляції Спірмена (Spearman’s rank correlation coefficient). За результатами обчислювального експерименту, що охопив понад 300 згенерованих моделей на синтетичному класифікаційному датасеті, не було виявлено жодної стабільної або статистично значущої залежності між глибиною вузла та його складністю. Отримані результати свідчать про те, що припущення, сформовані на основі окремих прикладів або інтуїції, можуть не узагальнюватися на інші задачі або домени. Це підкреслює важливість емпіричної перевірки теоретичних архітектурних міркувань, а також необхідність уважного проєктування простору пошуку в NAS. Запропонований підхід може бути використаний для перевірки інших архітектурних гіпотез у різноманітних типах нейронних мереж, що робить його перспективним інструментом у дослідженнях у сфері автоматизованого машинного навчання.uk_UA
dc.description.abstractThis article introduces an automated and unbiased framework for validating architectural hypotheses for neural network models, with a particular focus on Neural Decision Trees (NDTs). The proposed methodology employs Neural Architecture Search (NAS) as an unbiased tool to explore architectural variations and empirically assess theoretical claims. To demonstrate this framework, we investigate a hypothesis found in the literature: that the complexity of decision nodes in NDTs decreases monotonically with tree depth. This assumption, initially motivated by the task of monocular depth estimation, suggests that deeper nodes in the tree require fewer parameters due to simpler split functions. To rigorously test this hypothesis, we conduct a series of NAS campaigns over the CIFAR-10 image and fully connected layers, while all other architectural components are held constant to isolate the effect of node depth. By applying Tree-structured Parzen Estimator (TPE)-based NAS and evaluating over 300 architectures, we quantify complexity metrics across tree levels and analyze their correlations using Spearman’s rank coefficient. The results provide no statistical or visual evidence supporting the hypothesized trend: node complexity does not decrease with depth. Instead, complexity remains nearly constant across levels, regardless of tree depth or search space size. These results suggest that assumptions derived from specific applications may not generalize to other domains, underscoring the importance of empirical validation and careful searchspace design. The presented framework may serve as a foundation for verifying other structural assumptions across various neural network families and applications. en_US
dc.identifier.citationMykytyshyn A. Validating Architectural Hypotheses in Neural Decision Trees with Neural Architecture Search / A. Mykytyshyn, N. Shvai // Наукові записки НаУКМА. Комп'ютерні науки. - 2025. - Т. 8. - С. 50-56. - https://doi.org/10.18523/2617-3808.2025.8.50-56 en_US
dc.identifier.issn2617-3808
dc.identifier.issn2617-7323
dc.identifier.urihttps://doi.org/10.18523/2617-3808.2025.8.50-56
dc.identifier.urihttps://ekmair.ukma.edu.ua/handle/123456789/38251
dc.language.isoen en_US
dc.relation.sourceНаукові записки НаУКМА. Комп'ютерні наукиuk_UA
dc.statusfirst published en_US
dc.subjectNeural Architecture Search (NAS) en_US
dc.subjectNeural Decision Trees (NDTs) en_US
dc.subjectAutomated Machine Learning (AutoML) en_US
dc.subjectComputer Vision en_US
dc.subjectNode Complexity en_US
dc.subjectarticle en_US
dc.subjectпошук нейронних архітектурuk_UA
dc.subjectнейронні дерева рішеньuk_UA
dc.subjectавтоматизоване машинне навчанняuk_UA
dc.subjectкомп’ютерний зірuk_UA
dc.subjectскладність вузлівuk_UA
dc.titleValidating Architectural Hypotheses in Neural Decision Trees with Neural Architecture Search en_US
dc.title.alternativeВалідація архітектурних гіпотез у нейронних деревах рішень за допомогою пошуку нейронних архітектурuk_UA
dc.typeArticle en_US
Files
Original bundle
Now showing 1 - 1 of 1
Thumbnail Image
Name:
Mykytyshyn_Shvai_Validating_architectural_hypotheses_in_Neural_Decision_Trees_with_Neural_Architecture_Search.pdf
Size:
1.25 MB
Format:
Adobe Portable Document Format
Download
License bundle
Now showing 1 - 1 of 1
No Thumbnail Available
Name:
license.txt
Size:
1.71 KB
Format:
Item-specific license agreed upon to submission
Description:
Download
Collections
Том 8
Кафедра математики
Факультет інформатики