Microsoft представила «водяные знаки» для сгенерированного контента и инструмент автоматической модерации на основе ИИ

С появлением генеративных ИИ, способных создавать высококачественные изображения, остро обозначилась проблема быстрого распознавания фейков. Недавнюю подделку взрыва в Пентагоне довольно легко распознать по деталям, однако многие даже не пытаются это делать – фейк распространился очень быстро.

Microsoft внедряет спецификацию Coalition for Content Provenance and Authenticity (C2PA) на основе криптографических методов, которая позволит сайтам идентифицировать изображения, созданные ИИ, и помечать тем или иным образом. Стандарт разработан совместно с Adobe, ARM и Intel. Microsoft внедряет его прежде всего в своих продуктах, таких как  Bing Image Creator на основе DALL-E 2.

Чтобы распознавались изображения, разработанные программами других компаний, необходима поддержка с их стороны. Adobe поддерживает C2PA в своих инструментах генеративного ИИ, но другой важный игрок, Stability AI, заявил о готовности принять собственную похожую спецификацию. Google намерен использовать встроенные метаданные для обозначения визуальных медиа, созданных ИИ. Shutterstock и Midjourney тоже разработали собственные рекомендации по обозначению ИИ-контента. Усилия этих и других компаний предстоит объединить.

Помимо распознавания созданных ИИ изображений, Microsoft разрабатывает средства автоматической модерации неприемлемого текстового и визуального контента с помощью искусственного интеллекта. Инструмент Azure AI Content Safety работает с картинками и текстом на многих языках, сигнализируя модераторам о неприемлемом содержимом и присваивая ему индекс серьезности.

В основе Azure AI Content Safety лежит система безопасности, с которой уже работают чат-бот Microsoft в Bing и Copilot. Система защищает от предвзятого, сексистского, расистского, ненавистнического, жестокого контента и интегрирована в Azure OpenAI Service.

Источники: TechCrunch и TechCrunch