На прошлой неделе в подкасте я взял интервью у Клэр Голник, технического директора Terbium Labs, о кризисе воспроизводимости в науке и его последствиях для специалистов по данным. Мы также завели интересный разговор о философии данных — теме, о которой я раньше особо не задумывался. Интервью, похоже, действительно нашло отклик у слушателей, судя по количеству комментариев, которые мы получили через страницу заметок шоу и Твиттер . Я думаю, что на это есть несколько причин...

Успокойтесь - машинное обучение не делает нас глупее Отсутствие дисциплины и понимания - это… И в этом нет ничего нового Никогда не позволяйте хорошему кризису пропасть зря. Я почти уверен, что это сказал какой-то гений… ухмылка. Итак, теперь, по крайней мере, по мнению футуриста и статистика из Университета Райса Дженеверы Аллен, машинное обучение привело нашу науку в кризис. Аллен называет это кризисом воспроизводимости. Красная волнистая линия, которая появляется, когда я..

Текущая ситуация Один из столпов научного метода - воспроизводимость, то есть возможность повторить эксперимент и получить тот же результат. Иногда это бывает очень сложно. Например, если вы выполняете полевые работы, вы можете собрать очень редкие образцы или наблюдать редкое природное явление. Если вы работаете в лаборатории, отслеживание всех переменных, которые входят в эксперимент и могут на него повлиять (например, способ дозирования или смешивания реагентов), похоже на следование..

Работа над любой проблемой машинного обучения - это процесс творческой итерации . Помимо разработки программного обеспечения, он включает в себя, среди прочего, исследования, эксперименты и анализ результатов. Написанный в псевдокоде, он будет выглядеть примерно так: Вы строите свою модель, рассчитываете метрики на основе данных проверки, погружаетесь в результаты, чтобы определить, где ваша модель не работает, и повторно исследуете идеи, как ее улучшить. Как только эти идеи..