Всем привет! Несмотря на то, что я провел два анализа этого опроса, у меня было достаточно данных, чтобы провести еще один анализ. После этого анализа я буду уделять больше времени другим наборам данных, связанным с психическим здоровьем.

Open Sourcing Mental Illness (OSMI) провел аналогичный опрос в 2014 году. Учитывая, что у нас есть два момента времени для анализа данных, у меня остается два вопроса о нашем процессе генерации данных:

  • Видим ли мы разницу в том, что влияет на уровень диагностики психических заболеваний между этими годами?
  • Видим ли мы разницу в влиянии определенных демографических показателей на диагноз между этими двумя годами?

С учетом сказанного, давайте погрузимся!

Набор данных

Я подробно описал исследование OSMI 2016 года в разделе Мой первый анализ. Как и опрос 2016 года, опрос 2014 года в основном распространялся на технических конференциях и онлайн-площадках. Таким образом, этот набор данных, вероятно, будет содержать те же проблемы смещения выборки, которые повлияли на нашу интерпретацию более позднего опроса.

Одно заметное отличие состоит в том, что в опросе 2014 года значительно меньше вопросов, чем в опросе 2016 года. В частности, опрос 2014 года содержит 26 вопросов, а опрос 2016 года — около 63 вопросов. Некоторые примечательные переменные, использованные в нашем предыдущем анализе, не были зарегистрированы в наборе данных 2014 года, в том числе:

  • Что из следующего лучше всего описывает вашу должность на работе? (тип_роли)
  • Вам поставили диагноз психического расстройства медицинский работник? (диагностировано с MHD)

К сожалению, нам придется ограничить наш анализ переменными, представленными в обоих наборах данных. Поскольку в наборе данных 2014 года не было эффективных замен для переменной roleType, нам пришлось удалить ее из нашего анализа. Однако мы смогли найти замену нашей переменной diagnosedWithMHD. В наборе данных 2014 года мы определили вопрос:

  • Вы обращались за лечением по поводу психического расстройства?

Если человек отвечает «Да» на этот вопрос, вполне вероятно, что у него есть какое-то психическое заболевание. При этом неясно, указывает ли ответ «Нет» на этот вопрос на то, что у человека нет психического расстройства или что он просто не лечится. В настоящее время это лучшая доступная мера для diagnosedWithMHD в наборе данных 2014 года, поэтому, хотя мы по-прежнему используем ее для объединения двух наших наборов данных, нам нужно будет учесть эту проблему в разделе ограничений.

Исследование данных

Хотя в 2016 г. наблюдается больше наблюдений, чем в 2014 г., мы учитываем разницу примерно в 150 респондентов. Это относительно небольшая разница, учитывая, что у нас более 2600 наблюдений. Следовательно, я не думаю, что нам нужно беспокоиться о несбалансированных годах в нашем объединенном наборе данных.

Одномерный анализ

Мы видим, что относительные различия в распределении минимальны, поскольку распределение как в 2014, так и в 2016 году выглядит разделенным 50–50.

Мы видим, что разница в распределении возрастов между этими двумя годами очень мала. При этом в распределении 2016 года межквартильный размах выглядит немного больше, чем в распределении 2014 года.

Мы видим, что в оба года наше гендерное распределение состоит преимущественно из мужчин. К сожалению, это отражает гендерное неравенство, существующее в технологической индустрии. Есть также относительно небольшое количество людей, которые не идентифицируют себя в гендерной бинарности (тип О). Как обсуждалось в моем предыдущем анализе, я хочу иметь больше детализации с этой группой, но ограниченное количество наблюдений затрудняет определение более детального гендерного спектра.

Двумерные отношения

Мы видим мало эффектов взаимодействия между годом и полом, поскольку влияние пола на диагноз не сильно меняется между двумя годами. Как и в нашем предыдущем анализе, похоже, что у женщин и небинарных людей чаще диагностируют психическое заболевание, чем у мужчин.

Мы видим, что влияние работы в Соединенных Штатах на частоту диагностирования не сильно меняется между двумя годами. При этом неизменный во времени эффект местоположения по-прежнему очевиден, поскольку у тех, кто работает в Соединенных Штатах, с большей вероятностью будет диагностировано психическое заболевание, чем у тех, кто не работает в США.

Основываясь на моем предыдущем анализе, мне было интересно посмотреть, оказывает ли Соединенные Штаты влияние местоположения на диагностику, которое значительно отличается от других развитых стран. Таким образом, я хотел посмотреть, оказала ли работа в Соединенном Королевстве (isUK) или в Канаде (isCA) значимое влияние на уровень диагностики. Я выбрал эти две страны, потому что они занимают второе и третье место по распространенности в нашем наборе данных.

Здесь мы видим эффект взаимодействия. В 2014 году, похоже, нет никакой разницы в распределении диагнозов в зависимости от того, работает ли человек в Великобритании. Однако в 2016 году мы видим, что у человека, работающего в Великобритании, вероятность того, что он будет диагностирован, немного ниже, чем у человека, работающего за пределами Великобритании. То, что могло бы повлиять на это изменение, требует более глубокого анализа нарративов в ландшафте психического здоровья Великобритании.

Мы видим очень похожий эффект взаимодействия, происходящий в Канаде. Это может свидетельствовать о том, что в период с 2014 по 2016 год произошло снижение уровня диагностики в развитых странах, помимо США. При этом нам потребуется провести полный анализ международной политики, чтобы изучить эффект взаимодействия.

Выбор модели

После объединения наборов данных 2014 и 2016 годов я решил проверить производительность простых моделей, прежде чем выполнять полную процедуру отбора.

Начальное моделирование

Как это обычно бывает с последующим анализом, первое, что я решил сделать, это проверить нашу окончательную модель из нашей предыдущей работы с нашим текущим набором данных. Поскольку в указанной модели отсутствуют некоторые переменные, я решил протестировать логистическую регрессию со следующими переменными в нашем объединенном наборе данных:

  • возраст
  • пол
  • США
  • взаимодействие между возрастом и полом

Эта модель имела точность 59,44% в нашем объединенном наборе данных. Учитывая, что уровень диагностики во всем наборе данных немного превышает 50%, эта модель объясняет некоторые различия в наших данных.

Я также протестировал аналогичную модель, которая также учитывала основной эффект года, а также взаимодействие года с возрастом,полом и — США. В первую очередь я протестировал эту модель, чтобы увидеть какие-либо эффекты времени prima facie в наших данных. Эта модель работала так же, как и наша предыдущая, которая предполагала, что наши годовые эффекты не помогают прогнозировать частоту диагнозов.

Я также сопоставил дерево решений с возрастом, полом, США и годом. Это дерево описано на рисунке 9 выше. Кажется, что модель считает пол единственной информативной переменной, с которой не очень интересно работать. Эта модель также имеет точность 58,22% в нашем наборе данных, что немного хуже, чем у наших предыдущих моделей. Это навело меня на мысль, что не стоит рассматривать деревья решений в моей процедуре выбора модели.

Методология

Я рассматривал следующие переменные для процесса выбора:

  • возраст
  • пол
  • США
  • Великобритания
  • ISCA
  • Размер компании
  • год
  • Взаимодействие между годом и другими нашими основными эффектами
  • Взаимодействие между isUK и другими нашими основными эффектами (помимо isUSA и isCA)
  • Взаимодействие между isCA и другими нашими основными эффектами (помимо isUSA и isUK)
  • Взаимодействие между возрастом и полом

Я решил рассмотреть companySize, потому что roleType отсутствовал в нашем текущем анализе. Мне показалось, что companySize может оказаться полезным для включения описания эффектов, связанных с работодателем, которые могут быть потеряны с помощью roleType. Я решил рассмотреть взаимодействие isUK и isCA с другими основными эффектами, потому что у меня не было слишком много времени для изучения взаимосвязи этих функций с нашими старыми выбранными переменными. . Таким образом, «кухонная раковина» эффектов взаимодействия с этими локационными особенностями казалась лучшим вариантом. Я также рассмотрел взаимодействие между возрастом и полом, поскольку оно использовалось в нашей окончательной модели в предыдущем анализе.

(Примечание: остальная часть этого раздела носит технический характер. Не стесняйтесь пропустить ее и перейти к разделу логических выводов!)

Я предпринял следующие шаги, чтобы выбрать нашу окончательную модель:

  • Я разделил наши данные на набор выбора и набор вывода. Наша окончательная модель будет выбрана в наборе выбора, а затем подогнана к нашему набору вывода для оценок и результатов.
  • Поскольку я рассматривал множество различных переменных, я чувствовал, что более эффективным способом выбора модели является пошаговая логистическая регрессия с использованием информационного критерия Акаике (AIC) для принятия решений по переменным. Модель нижней границы представляла собой логистическую регрессию только с перехватом, а модель верхней границы включала все переменные, перечисленные выше. Чтобы уменьшить смещение индукции, присутствующее в процедуре пошагового выбора, я решил использовать процесс прямого-обратного выбора для выбора переменных.

Результаты отбора

Удивительно, но моя окончательная модель оказалась проще, чем моя последняя модель из моего предыдущего анализа. Процедура пошагового отбора выбрала логистическую регрессию с возрастом, полом и США в качестве признаков. В эту окончательную модель не были включены никакие эффекты взаимодействия и эффекты по годам.

Вывод

Для тех, кто пропустил предыдущий раздел, наша последняя модель частоты диагнозов представляет собой логистическую регрессию с возрастом, полом и isUSA в качестве переменных.

Диагностика

Эта модель имеет точность 58,2% на нашем наборе для вывода, что близко к точности нашей предыдущей модели на наборе для вывода 2016 года. При этом мы сравниваем производительность двух моделей на двух немного разных наборах данных. Вполне вероятно, что сравнение их точности эквивалентно сравнению яблок и апельсинов.

Мы предоставили объяснение матриц путаницы в предыдущих анализах (см. здесь, рисунок 11). В нашем текущем контексте наш показатель ложноположительных результатов составляет 173/(173 + 503) * 100 % = 25,55 %, а наш показатель ложноотрицательных результатов составляет 388/(388 + 278) * 100 % = 58,26%. Очевидно, что наша модель не предсказывает частоту диагноза, что может свидетельствовать о том, что у нас просто недостаточно демографической информации для прогнозирования диагноза.

(Примечание: остальная часть этого подраздела носит технический характер. Смело переходите к подразделу интерпретации!)

Мы видим некоторые нелинейности в графике остатков по полу. В частности, похоже, что наши остатки не сосредоточены вокруг 0 ​​для небинарных индивидуумов. В остальном, похоже, не было нарушений независимости или предположений о постоянной дисперсии.

Для нашей эмпирической CDF существует множество отклонений от линии Гаусса. Таким образом, вполне вероятно, что наши остатки не являются гауссовскими, и поэтому нам не следует интерпретировать наши данные с помощью модели ошибок Гаусса. Это побудило меня построить меры неопределенности в нашей модели, используя процедуру начальной загрузки с повторной выборкой случаев.

Интерпретация

Наши прогностические эффекты для gender и isUSA составляют 0,8296 и 0,3657 соответственно, что близко к их оценкам, данным в предыдущей модели (см. здесь, рис. 12). При этом теперь, когда у нас есть доверительные интервалы с начальной загрузкой, у нас есть более точные оценки диапазона истинных прогностических эффектов этих переменных на частоту диагностики. В частности, мы предсказываем с достоверностью 95 %, что женщины в exp(0,542) = 1,72 и exp(1,12) = 3,06 раза чаще получают диагноз психического расстройства. состояние здоровья, чем у мужчин. Это говорит нам о том, что у женщин может быть в 2 раза больше шансов быть диагностированными, чем у мужчин.

Прогностический эффект возраста довольно мал, и мы видим, что эффект 0 в настоящее время находится в пределах доверительного интервала начальной загрузки для эффекта. Это говорит мне о том, что возраст мало влияет на уровень диагностики.

Что интересно в этой модели, так это то, что гендерный эффект небинарных индивидуумов очень велик. Мы прогнозируем, что в среднем у небинарного человека в exp(1,591) = 4,57 раза больше шансов получить диагноз психического расстройства, чем у эквивалентного ему человека. 95-процентный доверительный интервал предполагает, что истинный прогностический эффект для небинарных индивидуумов находится между exp(0,7876) = 2,2 и exp(2,712) = 15,06 раза больше вероятности. диагноза как равноценные мужчины. Большой диапазон этого оцениваемого эффекта будет более подробно изучен в разделе обсуждения.

Давайте изучим соответствующие точечные прогнозы для этой модели.

Мы видим, что даже среди недавних выпускников женщины и небинарные личности гораздо чаще сталкиваются с диагнозом, чем мужчины. В частности, в этом возрасте в США у небинарных людей (0,802–0,451)/(0,451) * 100% = 77,83% больше шансов столкнуться с диагнозом, чем у мужчин.

Затем я решил изучить людей среднего возраста, оставив остальную демографическую информацию неизменной. Мы видим, что наши показатели диагностирования меняются не слишком сильно, чего и следовало ожидать, учитывая слабый прогностический эффект возраста в нашей модели (см. Рисунок 13).

Мы видим, что работа за пределами США снижает уровень диагностики примерно на 9% для всех полов в этой возрастной группе. Мы также видим, что разница между небинарными индивидуумами и самоидентифицирующими себя мужчинами становится более резкой. В этом контексте мы прогнозируем, что у небинарных людей (0,737 — 0,363)/(0,363) * 100 % = 103 % больше шансов получить диагноз психического расстройства, чем у мужчин. .

Обсуждение

Мы видим, что наши годовые эффекты выпадают из нашего анализа на этапе выбора модели. Это говорит о том, что не только распределение диагнозов одинаково в оба года, но и соотношение между демографией и диагнозом остается относительно одинаковым в оба года. В этом смысле между 2014 и 2016 годами между популяциями существует относительно небольшая разница, и какие бы меры политики ни происходили между этими двумя временными точками (например, дальнейшее внедрение Закона о доступном медицинском обслуживании) не сильно повлияли на уровень диагностики.

Мы видим, что гендерный эффект для женщин и эффект местоположения в США аналогичны тому, что мы видели в нашем предыдущем анализе. Таким образом, многие из тех же неопределенностей относительно их причинного влияния на диагноз остаются прежними (см. Предыдущий анализ, Обсуждение). Этот анализ вносит свой вклад в эти причинно-следственные связи, отбрасывая isUK и isCA на этапе выбора. Поскольку Великобритания и Канада являются второй и третьей наиболее распространенными странами в нашем наборе данных соответственно (США являются первыми), это падение не может быть полностью сообщено небольшими выборками из этих двух мест. Это еще раз подчеркивает, что в технологической индустрии США или в ментальном ландшафте США в целом есть некоторые компоненты, которые отличают его уровень диагностики от всех других стран.

Возраст относительно мало или совсем не влияет на прогностическое значение нашей частоты диагнозов. Это говорит о том, что диагноз не меняется по мере взросления человека, но ничего не говорит о нелинейном влиянии возраста на диагноз. Возможно, существует определенная возрастная группа, которая более склонна к диагностике на основании изменений в ландшафте психического здоровья или эйджистского давления в технологической индустрии. При этом изучение этого потребует дальнейших изменений в модели (см. Будущая работа).

Одним из преимуществ наличия большего комбинированного набора данных является то, что у нас есть более точные оценки прогностического влияния небинарного пола на диагноз. В частности, теперь мы предсказываем, что у небинарных людей в четыре раза больше шансов столкнуться с диагнозом, чем у эквивалентных мужчин, идентифицирующих себя. При этом рассказ об этом предсказательном эффекте требует дальнейшего анализа для подтверждения. В стране, которая оказывает давление на людей, чтобы они соответствовали гендерной бинарности, неясно, является ли это давлением внутри отрасли или внутри общества в целом.

Ограничения

Этот анализ имеет несколько ограничений:

  • Наша метрика диагностики в данных за 2014 год не идентична нашей метрике диагностики в данных 2016 года. Хотя у нас есть веские аргументы в пользу того, почему мы выбрали эту метрику, эта разница является ошибкой измерения нашей целевой переменной. Эта ошибка измерения может частично сделать некоторые компоненты этого анализа недействительными.
  • У нас есть только 27 небинарных людей в нашем наборе данных для вывода, а это означает, что наш предполагаемый эффект для этой группы относительно неточен. Мы можем только надеяться, что в будущих сечениях этого обзора мы получим больше небинарных наблюдений. Возможно, будет полезно ориентироваться на эту группу в будущих стратегиях распространения опросов.
  • Отсутствие описания работы в наборе данных за 2014 год вынудило нас исключить roleType из рассмотрения в этом анализе. Мы, вероятно, упускаем из виду рассказы о работе, когда не учитываем, как тип работы человека может повлиять на его психическое здоровье.
  • Как обсуждалось в нашем предыдущем анализе, стратегия распределения опроса предполагает, что у нас есть систематическая ошибка отбора. Эта предвзятость выбора может работать в двух направлениях. Вполне вероятно, что в этом опросе приняли участие люди, которые больше интересуются психическим здоровьем, что, вероятно, приведет к избыточной выборке людей с психическими расстройствами. С другой стороны, вполне вероятно, что в опросе приняли участие люди, которые более способны принять участие в опросе. Вероятно, это приведет к недостаточной выборке лиц с тяжелыми формами инвалидности.

Будущая работа

Есть несколько направлений будущих исследований с этим набором данных:

  • Было бы полезно сравнить результаты этого опроса с результатами других отраслей. Вполне вероятно, что существуют различия в ландшафте психического здоровья между технологической отраслью и другими профессиями белых воротничков.
  • Было бы полезно сравнить линейные эффекты возраста с нелинейными эффектами. Вполне возможно, что есть некоторые возрастные группы, которые оказывают ключевое влияние на диагностику, а не на диагностику, на которую влияет само старение.
  • Было бы полезно углубиться в наши эффекты местоположения, чтобы увидеть, какие аспекты США создают уровень диагностики, отличный от других развитых стран.
  • Возможные изменения в предстоящем опросе 2017 года о психическом здоровье в области технологий могут дать нам больше демографических переменных, которые могут лучше предсказывать частоту диагнозов.

Я хотел бы поблагодарить OSMI за создание этого опроса. Если вы цените работу, проделанную в OSMI, не стесняйтесь пожертвовать!

Я хотел бы поблагодарить Кристина Килан и Джо Фергюсон за поддержку в продолжении анализа опроса OSMI.

Если вы заинтересованы в дальнейшем изучении моего анализа, не стесняйтесь ознакомиться с моим кодом и активами здесь. Вы можете ознакомиться со всем набором моих проектов в моем профиле на GitHub (PLBMR).

Вы можете ознакомиться с двумя предыдущими анализами этого набора данных. Они доступны здесь и здесь.

Если у вас есть какие-либо вопросы об анализе, не стесняйтесь оставлять комментарии ниже!