📊 Современные ИИ системы обучаются на данных. Данных во всех областях человеческой деятельсности накопилось крайне много, что обеспечивает успех подобных мероприятий (или, например переход к “четвертой парадигме” [1] в науке). С другой стороны их все еще не хватает, а эксперты говорят о достижении предела - см. “data wall” [2]. Но дело не только в количестве, а еще в том, что определенные действия и решения не оставляют следов в виде “артефактов” данных. Чаще всего речь в такой ситуации ведется о “скрытых знаниях” (tacit knowledge). Например в заметке [3] приводится рассуждение о трех знаменитых детективах - Шерлоке Холмсе, Эркюле Пуаро и мисс Марпл с точки зрения принципиальной разницы в их методике: снижение неопределенности в данных, системный взгляд мультимодальную информацию о психологии поведения людей и естественное погружение в среду (соответственно). Последнее в заметке как раз и относится к варианту “tacit knowledge”, которые крайне затруднительно воспроизвести ИИ. Но представляется, что скрытыми могут быть и другие компоненты цепочки данные-информация-знания.

⛅ Под скрытыми данными можно подразумевать данные, которые могли бы быть, но их нет. При этом масштаб отсутствия данных может быть различным: от пропусков в рядах данных до принципиального отсутствия артефактов от каких-либо этапов процесса. Например, проектирование ПО, обсуждение стратегии часто проводятся на встречах, мозговых штурмах, которые оставляют “нецифровые” следы, а самое главное, формируют некий корпус фактов в головах обсуждающих. Решения тоже разномасштабные: усвоение данных, телеметрия, оцифровка следов, синтез данных и пр.

🌩 Под скрытой информацией логично подразумевать упущения в структуре и семантике доступных данных. Причем это может быть версионность и эволюция данных (например, даже с учетом коммитов в репозитории, процесс разработки ПО не всегда эволюционно прослеживается) или отсутствие связей в данных различной модальности (например, сложное сопоставление интерпретации медицинских изображений с их разметкой). Решения: цифровые двойники, модели контекста, мультимодальные модели, information fusion и пр.

🌪 Наконец, непосредственно скрытое знание может по разному соотноситься с явным (открытым) знанием [4]: конвертироваться, комбинироваться, воплощаться в процедурах. При этом для построения качественного агента ИИ важно уметь выявить и структурировать это знание. Механизмы зависят от целей: для воспроизведения процедурного поведения может быть эффективным обучение по демонстрации (в т.ч. по синтетическим данным [5,6]), для взаимодействия с экспертом могут помочь когнитивные модели и модели со скрытыми состояниями (HMM), для системной оптимизации могут быть полезны модели обмена и эволюции (в т.ч. с учетом социального контекста) знаний [7].

🤔 Ключевой проблемой скрытых элементов является ограничение масштабируемости и переносимости решений: на эталонных и малых задачах ИИ агенты могут показывать себя отлично, но при переносе на другие задачи или на более масштабные проекты сказывается “когнитивный разрыв” в знаниях. Явные знания существуют в большом корпусе учебных, научных, методических материалов (по которым учатся и работают специалисты-люди), явные знания могут быть извлечены из финальных артефактов (разработанного кода, конкретных врачебных решений, финальных версий законов). Но промежуток между ними заполняют скрытые знания (за скрытыми данными и скрытой информацией) - как преобразовать одно в другое. Представляется, что для заполнения этого разрыва нужно формирование более системного подхода, объединяющего все “решения”, упомянутые выше.

Ссылки
[1] The Fourth Paradigm
[2] AI Hits a Wall
[3] Tacit Knowledge Is the only Alpha Left
[4] Toward a Better Understanding of Tacit Knowledge in Organizations
[5] Making tacit knowledge explicit
[6] SynthLLM
[7] Understanding knowledge hiding in organizations