InkSight работает на основе искусственного интеллекта и способна справляться с разнообразными сценариями, включая плохое освещение, неровные фоны и даже частично скрытый текст. Система поддерживает несколько языков и может обрабатывать не только текст, но и простые рисунки. Руководитель проекта, Андрей Максай, отмечает, что InkSight сохраняет стилистические особенности почерка в векторном формате, что обеспечивает точность и переносит физические заметки в цифровую среду.

Система показывает высокие результаты: по результатам тестов 87% преобразованных образцов были признаны точными копиями исходного текста, а 67% — неотличимыми от цифрового рукописного текста, созданного человеком. InkSight анализирует текст на уровне слова, а также распознает вариации штрихов, что делает её уникальной среди подобных разработок.

Техническая архитектура InkSight базируется на уже существующих компонентах, таких как Vision Transformer (ViT) для распознавания изображений и языковая модель mT5. Вместо создания новых технологий Google использует сочетание проверенных инструментов, обеспечивая систему способностью «понимать» и передавать рукописный текст так, как его видит человеческий глаз.

Сфера применения InkSight обширна: система может найти применение в образовании, позволяя студентам сохранять и искать заметки в привычной форме рукописи; в деловой среде, где черновики или идеи, набросанные от руки, легко интегрируются в цифровой поток работы; и в архивировании, где рукописные документы можно сохранить и анализировать без потери деталей.

InkSight объединяет преимущества рукописных и цифровых заметок, сохраняя индивидуальный стиль записи и при этом предлагая возможности цифрового поиска и редактирования. Например, учёные и исследователи смогут не только сохранить важные рукописи, но и находить нужные данные быстро и без бумажного архива.