Переводчик по фото: с камеры и из файла

Кнопка «Перевод через камеру» открывает видоискатель: кадр распознаётся прямо в браузере, а перевод рисуется плашками поверх надписей. Один проход стоит около 0,13 секунды на устройстве с WebGPU и около 0,29 на обычном wasm — плюс перевод новых строк, поэтому уже увиденные надписи дальше идут без задержки. Если проход выходит дольше 2,6 секунды, непрерывный режим выключается сам и заменяется кнопкой «Прочитать кадр»: на таком устройстве кадр успевает смениться раньше, чем на нём появится перевод. Язык надписи при «определить автоматически» выбирается один раз, по первому прочитанному кадру. Кнопка «Снять кадр» сохраняет текущее изображение и передаёт его обычному пути — там перевод вписывается в саму картинку.

Перед первым распознаванием браузер скачивает модель: 4,5 МБ на поиск текста плюс 7,5–15,8 МБ на выбранную письменность. Размер показывается до начала загрузки. Дальше модель берётся из кэша, и следующие снимки идут сразу. Смена языка на другую письменность добавит только вес нового распознавателя — поиск текста общий для всех.

Чаще всего дело в размере надписи: если буква в кадре тоньше пары пикселей, читать нечего. Помогает снимок ближе или в большем разрешении. Вторая частая причина — режим «определить автоматически» на короткой надписи из двух слов: языку неоткуда взяться, укажите его вручную. Третья — сильный наклон: текст под углом больше сорока градусов распознаётся заметно хуже.

Текст подгоняется по размеру и переносится по строкам, чтобы уместиться в место оригинала, — немецкий и русский обычно длиннее английского примерно на треть. Если получилось слишком мелко, сократите перевод вручную: нажмите надпись прямо на снимке или строку в списке фрагментов — правка сразу перерисовывает картинку.

Да, и на скриншотах распознавание работает точнее всего — шрифт ровный, без бликов и перспективы. Реплики распознаются отдельными фрагментами, поэтому диалог остаётся построчным, а не сливается в один абзац.

Японский читается китайской моделью: иероглифы кандзи у них общие и распознаются точно, а хирагана и катакана — хуже, потому что этой модели их специально не показывали. Отдельная японская модель добавит к загрузке около 13 МБ; если японский окажется востребован, она появится.

Она затирается цветом, взятым из кольца пикселей вокруг неё, — поэтому на ровном фоне вывески или документа шва не видно. На пёстром фоне заливка растушёвывается к краям, а перевод получает тонкую обводку цветом фона, чтобы оставаться читаемым. Оригинал при этом сохраняется: переключатель «Показать оригинал» возвращает исходный снимок.

Меню, вывеска и инструкция состоят из коротких надписей, и по одной они переводятся буквально: «Grilled» и «salmon» становятся двумя отдельными словами вместо блюда. В точном режиме все надписи снимка уходят языковой модели одним заданием и в порядке чтения, и она переводит их как связный текст. Для этого распознанный текст передаётся на сервер и модели (получатели перечислены на странице «ИИ-провайдеры»); сам снимок распознаётся в браузере.