Маргарита Симонова – основатель и генеральный директор компании ILoveMyQA.com.

гетти

Мы все читали гиперболические заголовки вокруг искусственного интеллекта — о том, что он произведет революцию во всех аспектах нашей жизни, как личной, так и профессиональной. Хотя мы не можем знать в конечном счете, насколько масштабные преобразования произойдут благодаря ИИ, очевидно, что это сила, с которой приходится считаться, и она уже оказывает влияние на сферу обеспечения качества (QA).

Это правда, что контроль качества может быть сложной задачей для любой организации. Мы часто ассоциируем его с высокими затратами и длительным ручным трудом. Эффективный контроль качества необходим бизнесу для поддержания клиентской базы, поскольку он сохраняет свою репутацию надежного продукта.

Понимание задач Искусственного Интеллекта для контроля качества

Новые решения, такие как ИИ, всегда следует изучать для улучшения процессов контроля качества. Однако внедрение ИИ для контроля качества сопряжено со многими трудностями. В этой статье мы подробно рассмотрим 10 из этих проблем, которые я определил на основе своего опыта.

1. Сложность

Первая проблема, о которой стоит поговорить при внедрении ИИ для контроля качества, – это сложность. ИИ часто считают “черным ящиком”, что означает, что внутренняя работа ИИ может быть загадкой — даже для его создателей. Эти модели обычно состоят из миллионов параметров, которые нелегко интерпретировать людям. Из-за этого выходные данные, которые они выдают, иногда могут быть трудными для понимания и устранения неполадок в случае возникновения проблем.

Одним из способов решения этой проблемы является внедрение моделей, обладающих определенным уровнем прозрачности. Например, некоторые модели включают карты внимания или оценки важности функций, которые могут помочь вам получить представление о том, что привело к получаемому вами результату. Если вы не уверены, почему вы получаете тот результат, который у вас есть, попробуйте поискать эти функции.

2. Зависимость и Качество Данных

Модель искусственного интеллекта хороша настолько, насколько хорош набор данных, используемый для ее обучения. Итак, данные обучения должны быть оценены. Этого можно достичь, запросив информацию о данных обучения. Проверка выборок этих данных может помочь определить их качество.

Связанная с этим проблема касается конфиденциальности. Данные, используемые для обучения ИИ, должны собираться с согласия пользователей, и любая информация, позволяющая установить личность, должна быть удалена из них. Если этот тип конфиденциальной информации содержится в ваших выходных данных ИИ, это может представлять собой ответственность в соответствии с законами о конфиденциальности.

3. Интеграция с существующими Процессами Контроля Качества

Чтобы начать интеграцию процессов, первым шагом является подготовка данных. Моделям искусственного интеллекта нужны большие наборы данных высокого качества. Однако большинство организаций располагают недостаточным объемом неструктурированных данных, которые также нуждаются в очистке и маркировке. Сбор этих данных для интеграции может быть трудоемкой задачей и потребует специальных знаний в преобразовании данных в желаемый формат.

4. Пробелы в Навыках и Потребности в Обучении

Искусственный интеллект может быть загадкой для ваших нынешних сотрудников, и хотя его цель – предоставлять контент, понятный человеку, для получения максимальной отдачи от технологии требуется обучение, чтобы знать принципы программного обеспечения, лежащие в ее основе.

Такого рода обучение может быть достигнуто с помощью системного подхода. Во-первых, следует выявить пробелы в навыках, которые могут возникнуть с помощью оценочных тестов. Далее, следует разработать учебные программы для удовлетворения выявленных потребностей. Обучение может проводиться в различных форматах, включая онлайн-курсы, периодические семинары и программы наставничества.

5. Объяснимость И Прозрачность

Один из способов приблизиться к этому – использовать модели искусственного интеллекта, которые используют деревья решений или системы, основанные на правилах. Эти системы более понятны в том, как они приходят к своим выводам. Существуют также библиотеки, которые помогают объяснить процесс принятия решений моделью, такие как SHapely Additive exPlanations (SHAP) и Local Interoperable Model-Agnostic Explanations (LIME). С помощью этих инструментов мы можем лучше понять работу искусственного интеллекта.

6. Финансовые последствия

Одним из крупных расходов является стоимость приобретения или разработки правильных инструментов искусственного интеллекта. Это может включать оплату дорогостоящих систем, которые могут обрабатывать интенсивное обучение данным, необходимое для создания моделей ИИ. Сюда также входит инфраструктура, необходимая для поддержки ИИ, такая как лицензии на платформу ИИ, которые могут варьироваться в зависимости от используемой платформы и от того, используется ли она по периодической подписке или в зависимости от использования.

7. Поддержание систем искусственного интеллекта

Недостаточно просто настроить систему искусственного интеллекта и ожидать, что она удовлетворит все ваши будущие потребности. Нам также необходимо учитывать необходимое техническое обслуживание. Одним из элементов, который следует учитывать, является свежесть обучающих данных. Со временем данные будут становиться менее актуальными, поэтому система должна быть способна адаптироваться к новым данным.

Еще один аспект, который следует учитывать, – это сценарии тестирования. Поскольку производительность системы искусственного интеллекта со временем может ухудшаться, важно отслеживать ее производительность с помощью тестирования. Регрессионные тесты могут использоваться для проверки того, не ухудшилась ли производительность системы, в то время как стресс-тестирование может использоваться для проверки стабильности и отзывчивости системы.

8. Этические и Юридические Соображения

Предубеждения могут быть юридической проблемой, если они заставляют организацию нарушать нормативные акты, такие как антидискриминационные законы. Это может возложить на организацию юридическую ответственность за результаты использования искусственного интеллекта.

Искусственный интеллект также может быть связан с юридическими соображениями, если ему не удается выявить критические проблемы, такие как включение материалов для обучения, защищенных правами интеллектуальной собственности. Кроме того, обучающие данные могут включать персональные данные, которые защищены законами о защите данных, такими как GDPR или CCPA.

9. Тестирование систем искусственного интеллекта

Эта мета-задача включает в себя такие методы, как состязательный ИИ и тестирование мутаций. Состязательный ИИ тестирует ИИ, создавая выходные данные, которые были изменены, чтобы обмануть ИИ, что может помочь выявить слабые места в модели. Тестирование мутаций используется для генерации небольших изменений в тестовых примерах, чтобы увидеть, как модели реагируют на неожиданные входные данные.

10. Балансирование между Искусственным Интеллектом и Человеческой Проницательностью

Наконец, последняя задача внедрения ИИ в QA заключается в обеспечении баланса между ИИ и пониманием человеком. Важно найти правильный баланс между автоматизацией, управляемой ИИ, и человеческой интуицией. Это гарантирует, что, хотя ИИ оптимизирует процессы и обнаруживает закономерности, человеческое суждение по-прежнему позволяет понимать контекст и принимать взвешенные решения для улучшения процесса контроля качества. Одной из стратегий, которую следует рассмотреть, является бенчмаркинг, который сравнивает результаты модели с результатами работы экспертов-людей.

Вывод

Несмотря на то, что внедрение ИИ в QA сопряжено с трудностями, будущее QA направлено на более широкое использование ИИ. Это означает, что решение этих проблем имеет решающее значение. Используя человеческую проницательность, мы можем интерпретировать сложные, неоднозначные результаты ИИ и принимать правильные решения при использовании ИИ.

Forbes Technology Council – это сообщество, доступное только по приглашениям, для ИТ-директоров мирового класса, CTO и руководителей технологических компаний. Соответствую ли я требованиям?