В сообществе Open Data Science большой текст о том что для алгоритмов важно быть "объяснимыми" [1], например, решения для этого были у IBM в проекте AI Explainability 360 [2]. Смысл в том что исполнение алгоритма должно показывать, желательно визуально, то как и почему было принято итоговое решение.
Возможно ли это? Почти наверняка возможно, хотя и будет непросто. Актуально ли это? Да, всё большее число пользователей будет требовать объяснений почему было принято то или иное решение.