-
Notifications
You must be signed in to change notification settings - Fork 1
Тестирование на датасете с ошибками
Alexander Davydov edited this page May 2, 2021
·
6 revisions
Внести в транскрипт по выступлению Артура Азарова ошибки и посмотреть на изменение оценки за выступление
Ниже будет приведены 3 таблицы по оценке работы Артура Азарова. В речь специально были внесены ошибки, поэтому Вы можете видеть как каждый из подходов к оценке работы выставляет баллы, когда мы подаем на вход корректные данные и данные с ошибками
| Текст слайда | Корректный транскрипт | Транскрипт с ошибками |
|---|---|---|
| Цель и задачи Цель: разработать набор автоматически проверяемых лабораторных работ на базе симулятора NAO Задачи: 1. Провести обзор аналогов 2. Создать лабораторные работы 3. Разработать систему проверки лабораторных работ 4. Обеспечить возможность подключения разработанной системы к существующим площадкам онлайнобучения 5. Исследовать время проверки решений и количество потребляемых ресурсов | цель моей работы разработать набор автоматически проверяемых лабораторных работ на базе симулятора nao для этого требуется решить следующие задачи нужно провести обзор аналогов создать лабораторные работы разработать систему проверки лабораторных работ обеспечить возможность подключения разработанной системы к существующим площадкам онлайн обучения и исследовать время проверки решения и количество потребляемых ресурсов | моей работы разработать проверяемых лабораторных работ на базе nao для этого требуется решить следующие задачи нужно провести создать лабораторные работы разработать систему проверки работ обеспечить возможность подключения разработанной системы к существующим площадкам онлайн обучения и исследовать время и количество потребляемых ресурсов |
| Актуальность Актуальность обусловлена следующими факторами: ● рост спроса на специалистов в области робототехники ● обучение программированию робота сопряжено с трудностями ● популярность онлайн-обучения | актуальность обусловлена следующими факторами во-первых это рост спроса на специалистов в области робототехники по данным компании Статиста уже в две тысячи двадцатом году рынок робототехники будет оцениваться в сто миллиардов долларов при годовом темпе роста в двадцать шесть процентов во-вторых обучение программированию робота сопряжено с трудностями для программирования робота нужен либо робот либо симулятор робота во втором случае потребуется установить все необходимые пакеты также знать как работать с операционной системы для которой предназначен симулятор что не является обязательным для тех кто хочет попробовать программирование робота и в-третьих эта популярность онлайн обучения в данный момент массовые открытые онлайн курсы привлекают множество людей разных возрастов со всего мира чтобы понять как именно стоит организовывать лабораторные работы по программированию роботов был проведён обзор ресурсов обучающих программированию роботов с точки зрения способа обучения а не получаемых знаний | актуальность обусловлена следующими факторами во-первых это в области робототехники по данным компании Статиста уже в две тысячи двадцатом году рынок робототехники будет оцениваться в сто миллиардов долларов при годовом темпе роста в двадцать шесть процентов во-вторых сопряжено с трудностями для программирования робота нужен либо робот либо симулятор робота во втором случае потребуется установить все необходимые пакеты также знать как работать с операционной системы для которой предназначен симулятор что не является обязательным для тех кто хочет попробовать программирование робота и в-третьих эта популярность в данный момент массовые открытые онлайн курсы привлекают множество людей разных возрастов со всего мира чтобы понять как именно стоит организовывать лабораторные работы по программированию роботов был проведён обзор ресурсов обучающих программированию роботов с точки зрения способа обучения а не получаемых знаний |
| Обзор аналогов. Разработка архитектуры лабораторной работы 5 Диаграмма активности лабораторной работы по программированию робота | в результате обзора была разработана архитектура следующего вида задания должны представлять собой выполнение текста исходного кода управляющей программы для виртуального робота модуль проверки лабораторных работ должен генерировать случайные условия лабораторной работы принимать решения на проверку автоматически их проверять генерировать обратную связь по решению а также использовать различные симуляторы робота модуль для проверки лабораторных работ состоит из трёх компонентов это проверочный модуль модуль генерации случайного условия лабораторной работы и симулятор робота проверочный модуль с помощью модуля генерации случайного условия получает условие лабораторной работы и отдаёт его пользователям потом принимает решение на проверку с помощью симулятора робота запускает это решение генерирует обратную связь и отправляет обратную связь пользователю в данной работе было принято решение сосредоточиться на создании лабораторных работ и их автоматической проверке | в результате была разработана следующего вида задания должны представлять собой выполнение текста исходного кода управляющей программы для виртуального робота модуль проверки лабораторных работ должен генерировать случайные условия лабораторной работы принимать решения на проверку автоматически их проверять генерировать обратную связь по решению а также использовать различные симуляторы робота модуль для проверки лабораторных работ состоит из трёх компонентов это проверочный модуль модуль генерации случайного условия лабораторной работы и симулятор робота проверочный модуль с помощью модуля генерации случайного условия получает условие лабораторной работы и отдаёт его пользователям потом принимает решение на проверку с помощью симулятора робота запускает это решение генерирует обратную связь и отправляет обратную связь пользователю в данной работе было принято решение сосредоточиться на создании лабораторных работ и их автоматической проверке |
| Создание лабораторных работ. Выбор робота для программирования 6 Критерии робота: ● Востребованность робота в мировом сообществе ● Наличие симулятора ● Открытая платформа для программирования Робот NAO | для того чтобы** создавать лабораторная работа по программированию** роботов робот должен обладать следующими критериями во-первых это востребованность робота в мировом сообществе иначе спрос на лабораторные работа будет отсутствовать во-вторых это наличие стимулятора на котором можно будет запускать пользовательские решения и в-третьих это открытая платформа ** для программирования** чтобы можно было запускать свой код всеми данными критериями обладают робот nao которые используется в качестве помощника в сфере здравоохранения розничной торговли финансов и других внешний вид робота nao представлен на слайде | для того чтобы роботов робот должен обладать следующими критериями во-первых это востребованность в мировом сообществе иначе спрос на лабораторные работа будет отсутствовать во-вторых это наличие на котором можно будет запускать пользовательские решения и в-третьих это открытая платформа чтобы можно было запускать свой код всеми данными критериями обладают робот nao которые используется в качестве помощника в сфере здравоохранения розничной торговли финансов и других внешний вид робота nao представлен на слайде |
| ● Лабораторная работа №1: Изменить положение на StandInit ● Лабораторная работа №2: Переместить робота на некоторое расстояние ● Лабораторная работа №3: Сказать реплику в файл ● Лабораторная работа №4: Установить углы наклона головы ● Лабораторная работа №5: Установить максимальную жесткость головы | при создании лабораторных работ было принято решение руководствоваться следующими критериями выбора во-первых каждая лабораторная работа должна соответствовать ограничениям робота во-вторых каждая лабораторная работа должна иметь возможность проверки то есть использовать те модули робота которые меняют его состояние в результате было создано пять лабораторных работ условия которых представлены на слайде | при создании было принято решение руководствоваться следующими критериями выбора во-первых каждая лабораторная работа должна соответствовать ограничениям робота во-вторых каждая лабораторная работа должна иметь возможность проверки то есть использовать те модули робота которые меняют его состояние в результате было создано пять лабораторных работ условия которых представлены на слайде |
| Система проверки лабораторных работ 8 Псевдокод алгоритма работы скрипта-контроллера получение расположения и идентификатора лабораторной работы; проверка на правильность переданных аргументов; если аргументы правильные, то: определение лабораторной работы для проверки; если для проверки лабораторной работы нужно взаимодействовать с роботом, то: обнуление состояние робота; если нужно запустить пользовательское решение, то: запустить пользовательское решение; начать измерение времени проверки решения; запустить скрипт проверки и получить обратную связь по решению; если время проверки решения превысило таймаут, то: завершить выполнение скрипта-решения; иначе: закончить измерение времени проверки решения; завершение работы скрипта; иначе: завершение работы скрипта; | систему проверки лабораторных работ представлена набором пайтон скриптов ответственных за проверку конкретной лабораторной работы и скрипта контроллера который служит точкой входа в систему и алгоритм работы которого представлен на слайде | систему проверки представлена набором пайтон скриптов ответственных за проверку конкретной лабораторной который служит точкой входа в систему и алгоритм работы которого представлен на слайде |
| Алгоритм проверки лабораторной работы “Изменить положение на StandInit” 9 Создание объекта сессии с симулятором робота; Попытка подключения к симулятору робота; Если подключение успешно то: Подключение к сервису ALRobotPosture, который отвечает за установку робота в позу или получение позы, в которой робот сейчас находится; Если подключение успешно то: Получение позы; Если поза правильная, то: Вывод в консоль и лог файл информации о том, что поза правильная и задача решена корректно; Иначе: Завершение работы скрипта; Иначе: Завершение работы скрипта; Иначе: Завершение работы скрипта | на данном слайде представлен ** алгоритм проверки ** одной из лабораторных работ а именно изменить положение на standinit | на данном слайде представлен одной из лабораторных работ а именно положение на standinit |
| Подключение к существующим площадкам онлайн-обучения | для обеспечения подключения к системам к существующим площадкам онлайн обучения система была расширена в ней появились новые компоненты такие как контроллер модуля проверки и модуль хранения лаборатной работы контроллер модуля проверки принимает решения пользователей на проверку от модуля хранения лабораторных работ с помощью проверочного модуля проверяет их и отправляет обратную связь модулю хранения модуль хранения состоит из трёх компонентов это контроллер модуля хранения модуль авторизации и очередь лабораторных работ контроллер модуля хранения с помощью модуля авторизации авторизует пользователей принимает решения на проверку сохраняет их в очереди лабораторных работ также отправляет обратную связь по решению пользователям модуль авторизации ответственен за авторизацию пользователей а в очереди лабораторных работ находятся лабораторные работы ожидающие проверки чтобы упростить развёртывание данной системы было принято решение использовать докер контейнеры каждый модуль был инкапуслирован в отдельный докер контейнер при этом система горизонтально масштабируема если нужно проверять больше лабораторных работ один контейнер с модулем проверки не справляется то можно запустить сколько угодно таких же контейнеров | для обеспечения подключения к существующим площадкам система была расширена в ней появились новые компоненты такие как контроллер модуля проверки и модуль хранения лаборатной работы контроллер модуля проверки принимает решения пользователей на проверку от модуля хранения лабораторных работ с помощью проверочного модуля проверяет их и отправляет обратную связь модулю хранения модуль хранения состоит из трёх компонентов это контроллер модуля хранения модуль авторизации и очередь лабораторных работ контроллер модуля хранения с помощью модуля авторизации авторизует пользователей принимает решения на проверку сохраняет их в очереди лабораторных работ также отправляет обратную связь по решению пользователям модуль авторизации ответственен за авторизацию пользователей а в очереди лабораторных работ находятся лабораторные работы ожидающие проверки чтобы упростить развёртывание данной системы было принято решение использовать докер контейнеры каждый модуль был инкапуслирован в отдельный докер контейнер при этом система горизонтально масштабируема если нужно проверять больше лабораторных работ один контейнер с модулем проверки не справляется то можно запустить сколько угодно таких же контейнеров |
| Исследование зависимости времени проверки от количества контейнеров с модулем проверки Зависимость времени проверки 10 лабораторных работ “Изменить положение на StandInit”” при использовании разного количества контейнеров с модулем проверки лабораторных работ | было проведено исследование зависимости от времени проверки десяти лабораторных работ от количества контейнеров с модулем проверки исследование показало что зависимость прямо пропорциональна результаты исследования представлены на слайде | было проведено исследование проверки лабораторных работ от с модулем проверки исследование показало что зависимость прямо пропорциональна результаты исследования представлены на слайде |
| Исследование количества потребляемых ресурсов 12 Ресурс/ тип контейнера хранения проверки Процессор, % 12,9 50,6 Оперативная память, МБ 69,4 75,3 Потребление ресурсов различными типами контейнеров | было проведено исследование количество потребляемых ресурсов таких как процессор и оперативная память различными типами контейнеров при пиковой нагрузке результаты исследования представлены на слайде | было проведено исследование в таких как процессор и оперативная память различными типами контейнеров при пиковой нагрузке результаты исследования представлены на слайде |
| Исследование времени проверки Название лабораторной работы Значение, с «Изменить положение на StandInit» 5.19 «Переместить робота на некоторое расстояние» 15.4 «Сказать реплику в файл» 2 «Установить углы наклона головы» 0.2 «Установить максимальную жесткость головы» 2 Среднее время проверки лабораторной работы | было проведено исследование среднего времени проверки каждой лабораторной работы результаты исследования представлены на слайде по теме работы было выступление на конференции профессорско-преподавательского состава исходный код разработанной системы можно найти в репозитории на гитхаб докер контейнеры были загружены на докерхаб | было проведено проверки каждой лабораторной работы результаты исследования представлены на слайде по теме работы было выступление на конференции профессорско-преподавательского состава исходный код разработанной системы можно найти в репозитории на гитхаб докер контейнеры были загружены на докерхаб |
| Номер слайда | Оценка для корректного транскрипта | Оценка для транскрипта с ошибками |
|---|---|---|
| 0 | 86/100 | 86/100 |
| 1 | 95/100 | 86/100 |
| 2 | 86/100 | 86/100 |
| 3 | 86/100 | 86/100 |
| 4 | 86/100 | 86/100 |
| 5 | 86/100 | 86/100 |
| 6 | 44/100 | 86/100 |
| 7 | 86/100 | 57/100 |
| 8 | 86/100 | 86/100 |
| 9 | 30/100 | 32/100 |
| 10 | 46/100 | 86/100 |
| 11 | 86/100 | 86/100 |
| 12 | 86/100 | 86/100 |
| Correct Assessmnet: 76.07692307692308 % | ||
| Wrong Assessmnet: 79.61538461538461 % |
| Номер слайда | Оценка для корректного транскрипта | Оценка для транскрипта с ошибками |
|---|---|---|
| 0 | 86/100 | 86/100 |
| 1 | 100/100 | 92/100 |
| 2 | 86/100 | 86/100 |
| 3 | 86/100 | 86/100 |
| 4 | 86/100 | 86/100 |
| 5 | 86/100 | 86/100 |
| 6 | 44/100 | 86/100 |
| 7 | 86/100 | 57/100 |
| 8 | 86/100 | 86/100 |
| 9 | 30/100 | 32/100 |
| 10 | 46/100 | 86/100 |
| 11 | 86/100 | 86/100 |
| 12 | 86/100 | 86/100 |
| Correct Assessmnet: 76.46153846153847 % | ||
| Wrong Assessmnet: 80.1054131054131 % |
| Номер слайда | Оценка для корректного транскрипта | Оценка для транскрипта с ошибками |
|---|---|---|
| 0 | 86/100 | 86/100 |
| 1 | 95/100 | 86/100 |
| 2 | 86/100 | 86/100 |
| 3 | 86/100 | 86/100 |
| 4 | 86/100 | 86/100 |
| 5 | 86/100 | 86/100 |
| 6 | 44/100 | 86/100 |
| 7 | 86/100 | 57/100 |
| 8 | 86/100 | 86/100 |
| 9 | 30/100 | 32/100 |
| 10 | 46/100 | 86/100 |
| 11 | 86/100 | 86/100 |
| 12 | 86/100 | 86/100 |
| Correct Assessmnet: 79.5994005994006 % | ||
| Result Correct Dataset Weight-K: 1.0463015245623941 | ||
| Wrong Assessmnet: 85.03139717425432 % | ||
| Result Wrong Dataset Weight-K: 1.0680272108843538 |