Что Фейсбук и Твиттер могут рассказать нам о машинном обучении?

Facebook и Twitter знают толк в машинном обучении, их инженеры могут рассказать о том, что нужно делать, а что не следует. Такие полезные советы помогут улучшить вашу модель бизнеса. Когда эти техногиганты сами стали использовать машинное обучение для улучшения работы своих сервисов, то быстро обогнали конкурентов. Хотя практики Фейсбука и Твиттера не всегда приводят к ожидаемой реакции конечных пользователей, у них можно поучиться масштабированию и применению аналитики данных.

Сначала соберите необходимые данные

Фейсбук использует машинное обучение почти везде: обнаружение контента и определение его целостности, анализ настроения текста, распознавание речи, перевод на все языки, поиск по ключевым словам, распознавание лиц, выявление мошеннических аккаунтов. Алгоритм Фейсбука управляется со всем этим, передавая часть вычислений на граничные устройства, чтобы уменьшить задержку. Благодаря этому пользователи со старыми смартфонами легко получают доступ к соцсети. Устаревшие устройства со слабой вычислительной мощностью могут использовать облака для обработки потоков данных.

Сначала определите, какие данные на самом деле необходимы и важны, затем понемногу начинайте их обрабатывать. Часто команды аналитиков отвлекаются, потому что хотят сделать многое и сразу. Не стоит путать такой подход со стремлением сделать всё правильно. Вашей команде стоит сосредоточиться на скромных, но полезных усилиях. Потом ускорить разработку приложения, чтобы применять больше наборов данных или быстрее адаптироваться к изменениям. Сфокусировавшись на раннем успехе, а затем на масштабировании, разработчики смогут избежать первых ошибок, возникающих из-за быстрого поглощения слишком большого объёма данных.

Автоматизируйте тренировку

Обучение нужно регулярно дорабатывать, а машины нужно постоянно тренировать. Фейсбук и Твиттер для автоматизации тренировок используют набор Apache Airflow. Эти библиотеки помогают управлять рабочими процессами и поддерживать онлайн-платформы обновлёнными. Количество и скорость необходимых тренировок больше зависит от вычислительных затрат и доступных ресурсов, но высокая производительность алгоритма достигается при правильном планировании тренировок на наборе данных.

Сложной задачей перед тренировкой модели ИИ может стать выбор способа обучения. Хотя при работе с большими данными чаще выбирают глубокое обучение, вы можете попробовать метод «три-тренинг». Несмотря на то, что этот метод не может быть полностью автоматизирован, он способен дать более качественные результаты за счёт разнообразных модулей и совместного обучения.

Выберите подходящую библиотеку

Фейсбук и Твиттер сейчас решили стандартизировать изначально неструктурированный подход к выстраиванию фреймворков, библиотек и конвейеров. Фейсбук в основном полагается на PyTorch, а Твиттер использует несколько библиотек, двигаясь от Torch (для языка Lua) к TensorFlow.

Чтобы подобрать правильный инструмент для работы с искусственным интеллектом, сразу ищите масштабируемые решения. Заранее подумайте о долгосрочных потребностях проекта вашей компании.

Помните о конечном пользователе

Если погуглить запрос «машинное обучение Фейсбук», то можно наткнуться на сотни статей, описывающих негативные чувства пользователей, которые те испытывают ко встроенному в платформу искусственному интеллекту. Социальную сеть часто обвиняют в пренебрежении конфиденциальностью, добыче данных о пользователях, навязывании целевой рекламы. И этим же людям нравятся другие инструменты на основе ИИ, благодаря которым Фейсбук сближает их с семьями и друзьями из других стран, где говорят на другом языке, очищает свой ресурс от ненавистничества и порнографии.

В действительности конечных пользователей возмущает не технология, а отсутствие прозрачности при её реализации в соцсети. Не совершайте тех же ошибок, которые допускает Фейсбук. При стратегическом планировании делайте ставку на доверие и прозрачность. Пользователи оценят это по достоинству: они будут приходить на ваш сайт чаще и уходить удовлетворёнными.