Описание проекта
Описание проекта:
При изучении иностранного языка одно лишь заучивание большого количества иностранных слов и грамматических конструкций зачастую не приводит ни к каким видимым результатам, так как без отработки очень сложно применять изученный материал на практике, одновременно помня обо всех правилах, оборотах, исключениях и т.п. Однако, с этой неотъемлемой частью освоения иностранного языка у любого человека может возникнуть некоторый ряд трудностей: для практики устной речи человеку всегда нужен опытный собеседник, но не всегда вариант поиска репетитора или иностранного друга является подходящим. Для того чтобы заниматься с преподавателем прежде всего нужно найти компетентного в преподавании человека, выделить под занятие удобное для обоих время, и более того, если речь идет о носителе языка, нужно суметь преодолеть психологический барьер в начале общения с незнакомым человеком на плохо поддающемся языке.
Для решения данной проблемы, в рамках данного проекта предлагается разработать модуль голосового помощника для мобильного приложения по изучению иностранных языков. При помощи связки из нескольких нейронных сетей данный модуль будет поддерживать устный диалог с пользователем и, таким образом, максимально приблизить процесс обучения к реальному общению на иностранном языке, а также позволит сделать процесс обучения удобным и доступным.
Стек используемых технологий:
- Язык программирования Python
- Программная библиотека для машинного обучения Tensorflow
- нейрнки
Техническая реализация
Для успешной реализации данного проекта предстоит разработать следующий стек модулей:
Модуль активации записи аудиосообщения по голосу. Для того чтобы ускорить процесс обработки аудио сообщений пользователя, запись будет сообщения будет идти не в непрерывном формате а с того момента, как пользователь начнет говорить. Это позволит передавать меньший объем данных в обработку дальнейшим модулям, что существенно ускорит их работу.
Модуль нормализации, очистки пользовательских аудиосообщения присутствующих шумов. Для дальнейшей обработки аудиосообщений, при помощи нейросетевых технологий, необходимо очистить их от шума, вырезать пустые участки записи, нормализовать громкость, чтобы повысить точность работы нейронных сетей, которые в дальнейшем будут обрабатывать данное аудио.
Speech to text модуль для конвертации аудио в текст.
Модуль исправления ошибок, допущенных при конвертации голоса в текст. В любом языке встречаются похожие или идентичные по произношению слова или фразы. Данный модуль будет исходя из контекста заменять неправильно расшифрованные нейронной сетью слова на наиболее вероятные аналоги.
Нейросеть NLP для генерации ответа на реплики пользователя. Основной модуль голосового помощника, который будет генерировать уникальные ответы на любые реплики пользователя.
Модуль озвучивания сгенерированных реплик.
Потенциальные источники получения дохода
- Школы
- ВУЗы, ССУЗы,
- курсы иностранных языков
- люди, желающие самостоятельно изучать иностранные языки,
Анализ рынка
По данным переписи 2010 года самый популярный в России иностранный язык — английский. Им владеет около 7,5 млн россиян, это второй по популярности язык после русского.
На данный момент не существует прямых аналогов разрабатываемого приложения, в работе которых используются комбинации нейронных сети с технологиями NLP, для взаимодействия с пользователем, а также STT и TTS, для реализации непосредственно устного общения пользователя с модуле
