Как думают нейронные сети — Код НЛО | UFO code

Техника общего назначения проливает свет на внутренние работы нейронных сетей, обученных обработке языка.

Как думают нейронные сети

Как думают нейронные сети

Техника общего назначения проливает свет на внутренние работы нейронных сетей, обученных обработке языка.

Исследования искусственного интеллекта были преобразованы системами машинного обучения, называемыми нейронными сетями, которые изучают, как выполнять задачи, анализируя огромные объемы данных обучения.

Во время обучения нейронная сеть постоянно перенастраивает тысячи внутренних параметров, пока не сможет надежно выполнить некоторые задачи, такие как идентификация объектов в цифровых изображениях или перевод текста с одного языка на другой. Но сами по себе конечные значения этих параметров очень мало говорят о том, как нейронная сеть делает то, что она делает.

Понимание того, что делают нейронные сети, может помочь исследователям улучшить их производительность и передать свои идеи другим приложениям, а компьютерные ученые недавно разработали некоторые умные методы для предсказания вычислений конкретных нейронных сетей.

Но на конференции по эмпирическим методам обработки естественного языка в 2017 году, начиная с этой недели, исследователи из Лаборатории компьютерной науки и искусственного интеллекта Массачусетского технологического института представят новую универсальную технику для понимания нейронных сетей, которые обучаются выполнению обработки на естественном языке задачи, в которых компьютеры пытаются интерпретировать тексты свободной формы, написанные на обычном или «естественном» языке (в отличие от структурированного языка, такого как язык запросов к базе данных).

Этот метод применяется к любой системе, которая принимает текст в качестве входных данных и выдает строки символов как выходные данные, такие как автоматический переводчик. И поскольку его анализ зависит от разных входных данных и изучения влияния на результаты, он может работать с онлайн-сервисами обработки на естественном языке без доступа к базовому программному обеспечению.

Фактически, эта технология работает с любой системой обработки текста черного ящика, независимо от ее внутренней аппаратуры. В своих экспериментах исследователи показывают, что этот метод может также идентифицировать особенности работы в работе человеческих переводчиков.

Тема и варианты

Эта методика аналогична методике, которая была использована для анализа нейронных сетей, обучаемых для выполнения задач компьютерного зрения, таких как распознавание объектов. Программное обеспечение, которое систематически возмущает или изменяет - различные части изображения и повторно передает изображение в распознаватель объекта, может определить, какие функции изображения приводят к классификациям. Но адаптация этого подхода к обработке естественного языка не является простой.

«Что это значит даже для возмущения предложения семантически?» - спрашивает Томми Яаккола, профессор электротехники и информатики Томаса Зибеля в Массачусетском технологическом институте и один из двух авторов новой статьи. «Я не могу просто выполнить простую рандомизацию. И то, что вы предсказываете, теперь является более сложным объектом, как предложение, так что значит дать объяснение? "

Несколько по иронии судьбы, чтобы генерировать тестовые предложения для подачи на нервные сети черного ящика, Яаккола и Дэвид Альварес-Мелис, аспирант Массачусетского технологического института в области электротехники и информатики и первый автор на новой бумаге, используют нейронную сеть черного ящика.

Они начинаются с обучения сети как для сжатия, так и для распаковки натуральных предложений - для создания промежуточного, компактного цифрового представления предложения, а затем попытайтесь повторно развернуть его в свою первоначальную форму. Во время обучения кодер и декодер оцениваются одновременно, в соответствии с тем, насколько точно выход декодера соответствует входу энкодера.

Нейронные сети по своей сути вероятностны: система распознавания объектов, подающая изображение маленькой собаки, например, может заключить, что изображение имеет 70-процентную вероятность представления собаки и 25-процентную вероятность представления кошки. Точно так же сеть сжатия предложений Jaakkola и Alvarez-Melis снабжает альтернативы для каждого слова в декодированном предложении, а также вероятности того, что каждая альтернатива правильная.

Поскольку сеть, естественно, использует совпадение слов для повышения точности ее декодирования, ее вероятностные вероятности определяют кластер семантически связанных предложений. Например, если закодированное предложение «Она задохнулась от удивления», система могла бы назначить альтернативы, - она визжала от удивления, или «Она задохнулась от ужаса», как довольно высокие вероятности, но она назначила бы гораздо более низкие вероятности «Она плавала» в удивлении "или" Она ахнула в кофе ".

Поэтому для любого предложения система может генерировать список тесно связанных предложений, которые Яаккола и Альварес-Мелис подают на процессор на естественном языке с черным ящиком. Результатом является длинный список пар «вход-выход», который алгоритмы исследователей могут анализировать, чтобы определить, какие изменения вносят какие изменения на какие выходы.

Испытательные случаи

Исследователи применили свою технику к трем различным наборам типов системы обработки на естественном языке. Одна из них - система, которая выводила произношение слов; другой - набор переводчиков, два автоматизированных и один человек; а третья - простая компьютерная диалоговая система, которая пытается предоставить правдоподобные ответы на произвольные замечания или вопросы.

Как и следовало ожидать, анализ систем перевода продемонстрировал сильные зависимости между отдельными словами во входных и выходных последовательностях. Однако одним из наиболее интригующих результатов этого анализа было выявление гендерных предубеждений в текстах, на которых обучались машинные системы перевода.

Например, у ненормированного английского слова «танцор» есть два гендерных перевода на французском языке: «danseur» и «danseuse». Система перевела предложение «Танцовщица очаровательна» с использованием женского: «la danseuse est charmante». Но исследователи «анализ показал, что на выбор слова« danseuse »было в значительной степени повлияно слово« очаровательный », как это было по слову« танцор ». Другое прилагательное могло привести к другому переводу« танцовщицы ».

Диалогическая система, которая обучалась на парах линий из голливудских фильмов, была намеренно недостаточной. Хотя учебный набор был большим, сама сеть была слишком мала, чтобы использовать ее.

«Другой эксперимент, который мы делаем, - это недостатки в системах, - объясняет Альварес-Мелис. «Если у вас есть модель черного ящика, которая не делает хорошую работу, можете ли вы сначала использовать такой подход для выявления проблем? Мотивирующим применением такого рода интерпретируемости является исправление систем, совершенствование систем, понимание того, что они делают неправильно и почему ».

В этом случае анализ исследователей показал, что система диалога часто включала лишь несколько слов во входной фразе, которую она использовала для выбора ответа на акции - ответа «я не знаю» на любое предложение, которое началось с таким словом запроса, как «кто» или «что», например.

Источник

Нравится
Не нравится
RSS
Нет комментариев. Ваш будет первым!

Другие новости

Групповое похищение людей пришельцами в городе ...

Николай Железняк — контактёр. Собственными глазами он, по его словам, видел, как поднимались на борт внеземного шлюпа люди, похищаемые инопланетянами с Земли. Бывший сотрудник Ростовского уголовного розыска

Лекарь из иного мира

Туманная фигура слегка покачнулась в дверях, и из её горящих глаз ударили в Бориса два луча света." Конец сентября 1991 года. Самое начало бабьего лета. Город Батайск Ростовской области. Семь часов вечера.

Зачем прилетают НЛО?

Считается, что впервые загадочные объекты в воздухе, ныне всем известные НЛО, были достоверно зарегистрированы в годы Второй мировой войны. 14 октября 1943 года во время бомбежки немецкого города

Похищаемые и их свидетельские показания

Я понимаю, что интеграция пришельцев в человеческое общество звучит смешно. Идея, что чужеродно/человеческие гибриды живут на Земле, по природе нелепа. Моим любимым вопросом во время интервью был

Серые пришельцы

Профиль составлен на основе свидетельств похищаемых. Безусловно, наиболее распространенными типами пришельцев являются маленькие и более-высокие серые.

​Что вы увидите, падая в черную дыру?

Черные дыры — пожалуй, самые загадочные объекты во Вселенной. Они настолько плотные, что сила тяготения не позволяет ничему, даже свету, покинуть пределы черной дыры. Физики обнаружили множество черных дыр

Авторизация

Поделиться ...