Вмененка ип: Единый налог на вмененный доход (ЕНВД) в 2020 году

(Как вычислить категориальные переменные с помощью R)

Режим вменения легко применить, но неправильное его использование может испортить качество ваших данных.

В следующей статье я покажу вам , как и когда использовать режим вменения.

Прежде чем мы начнем, короткое определение:

Определение:
Вменение режима (или подстановка режима) заменяет отсутствующие значения категориальной переменной на режим без пропущенных случаев этой переменной.

Impute with Mode in R (Пример программирования)

Ввести недостающие данные по режимам довольно просто. В этом примере я использую язык статистического программирования R (RStudio). Однако условное исчисление режима можно проводить практически во всех программных пакетах, таких как Python, SAS, Stata, SPSS и так далее…

Рассмотрим следующий пример переменной (т.е.е. вектор в R):

 set.seed (951) # Set seed
N <- 1000 # Количество наблюдений
vec <- round (runif (N, 0, 5)) # Создать вектор без пропусков
vec_miss <- vec # Реплицировать вектор
vec_miss [rbinom (N, 1, 0.1) == 1] <- NA # Вставить отсутствующие значения

table (vec_miss) # Количество каждой категории
# 0 1 2 3 4 5
# 86 183 207 170 174 90

сумма (есть.na (vec_miss)) # Подсчет значений NA
# 90 

set.seed (951) # Set seed N <- 1000 # Количество наблюдений vec <- round (runif (N, 0, 5)) # Создать вектор без пропусков vec_miss <- vec # Реплицировать вектор vec_miss [rbinom (N, 1, 0.1) == 1] <- NA # Вставить отсутствующие значения table (vec_miss) # Количество каждой категории # 0 1 2 3 4 5 # 86 183 207 170 174 90 сумма (есть.na (vec_miss)) # Подсчет значений NA # 90

Наш примерный вектор состоит из 1000 наблюдений, 90 из которых являются NA (т.е. пропущенными значениями).

Теперь давайте заменим эти пропущенные значения с помощью вменения режима. Во-первых, нам нужно определить режим нашего вектора данных:

 val <- unique (vec_miss [! Is.na (vec_miss)]) # Значения в vec_miss
mode <- val [which.max (tabulate (match (vec_miss, val)))] # Режим vec_miss 

val <- unique (vec_miss [! is.na (vec_miss)]) # Значения в vec_miss mode <- val [which.max (tabulate (match (vec_miss, val)))] # Режим vec_miss

Режим нашей переменной равен 2. В следующем коде все отсутствующие значения заменяются на 2 (т.е. режим):

 vec_imp <- vec_miss # Реплицировать vec_miss
vec_imp [is.na (vec_imp)] <- mode # Импультировать по режиму 

vec_imp <- vec_miss # Реплицировать vec_miss vec_imp [есть.na (vec_imp)] <- режим # Импьютировать по режиму

Вот и все. Вменение закончено.

Но вносят ли условно исчисленные значения смещение в наши данные? Я собираюсь проверить это следующим образом…

Мы облажались?

Не ухудшило ли условное исчисление качество наших данных? Следующий рисунок отвечает на этот вопрос:

 Отсутствие <- c (rep («Отсутствие пропущенных», 6), rep («Post Imputation», 6)) # Пре / пост вменения
Категория <- как.factor (rep (names (table (vec)), 2)) # Категории
Count <- c (as.numeric (table (vec)), as.numeric (table (vec_imp))) # Подсчет категорий

data_barplot <- data.frame (missingness, Category, Count) # Объединить данные для построения графика

ggplot (data_barplot, aes (Category, Count, fill = missingness)) + # Создать график
  geom_bar (stat = "identity", position = "dodge") +
  scale_fill_brewer (palette = "Set2") +
  theme (legend.title = element_blank ()) 

missingness <- c (rep («Отсутствие пропущенных», 6), rep («Post Imputation», 6)) # Pre / post imputation Категория <- как.factor (rep (names (table (vec)), 2)) # Категории Count <- c (as.numeric (table (vec)), as.numeric (table (vec_imp))) # Подсчет категорий data_barplot <- data.frame (missingness, Category, Count) # Объединить данные для построения графика ggplot (data_barplot, aes (Category, Count, fill = missingness)) + # Создать график geom_bar (stat = "identity", position = "dodge") + scale_fill_brewer (palette = "Set2") + тема (legend.title = element_blank ())

График 1: Полный пример вектора (до вставки отсутствующих) vs.Вмененный вектор

График 1 показывает проблему условного исчисления режима :

Зеленые полосы отражают, как вектор нашего примера был распределен до того, как мы вставили пропущенные значения. Идеальный метод вменения воспроизводит зеленые полосы.

Однако после применения вменения режима вмененный вектор (оранжевые полосы) сильно отличается. В то время как категория 2 сильно перепредставлена ​​, все другие категории недопредставлены.

Другими словами: распределение наших условно исчисленных данных сильно смещено !

Есть ли лучшие альтернативы?

Как вы видели, вменение мод обычно не является хорошей идеей. Этот метод следует использовать только в том случае, если у вас есть веские теоретические аргументы (аналогично вменению среднего в случае непрерывных переменных).

Можно сказать: Хорошо, понятно! Но что мне делать вместо этого ?!

Недавняя исследовательская литература рекомендует два метода вменения категориальных переменных:

1. Вменение полиномиальной логистической регрессии

Вменение полиномиальной логистической регрессии - это метод выбора для категориальных целевых переменных, когда это возможно с вычислительной точки зрения.Однако, если вы хотите присвоить переменной слишком много категорий , использование этого метода может оказаться невозможным (по вычислительным причинам). В этом случае может помочь расчетное вменение с сопоставлением прогнозного среднего:

2. Прогнозирующее среднее сопоставление вменения

Соответствие прогнозного среднего изначально было разработано для числовых переменных . Однако недавняя литература показала, что прогнозируемое сопоставление среднего также хорошо работает для категориальных переменных, особенно когда категории упорядочены (van Buure & Groothuis-Oudshoorn, 2011).Даже несмотря на то, что согласование с прогнозируемым средним должно быть с осторожностью использоваться для категориальных переменных, оно может быть хорошим решением для проблематичных в вычислительном отношении вменений.

Хотелось бы услышать ваше мнение!

Я показал вам, как работает условное исчисление, почему это обычно не лучший метод для условного расчета ваших данных и какие альтернативы вы могли бы использовать.

Я хотел бы услышать ваш опыт!

Вы сами уже вменяли через режим? Вы бы сделали это снова?

Оставьте мне комментарий ниже и поделитесь своими мыслями (вопросы приветствуются)!

Список литературы

an Buuren, S.и Groothuis-Oudshoorn, C.G. (2011). MICE: многомерный расчет с помощью цепных уравнений в R. Журнал статистического программного обеспечения , 45 (3).

Приложение

Как создать изображение заголовка? Ну вот:

 par (bg = "# 1b98e0") # Цвет фона
par (mar = c (0, 0, 0, 0)) # Убираем пространство вокруг графика

N <- 5000 # Размер выборки
x <- round (runif (N, 1, 100)) # Равномерное распределение

x <- c (x, rep (60, 35)) # Добавляем несколько значений, равных 60

hist_save <- hist (x, breaks = 100) # Сохранить гистограмму
col <- cut (h $ breaks, c (- Inf, 58, 59, Inf)) # Цвета гистограммы

plot (hist_save, # Построить гистограмму
     col = c ("# 353436",
             "красный",
             "# 353436") [col],
     ylim = c (0, 110),
     main = "",
     xaxs = "я",
     yaxs = "i") 

par (bg = "# 1b98e0") # Цвет фона par (mar = c (0, 0, 0, 0)) # Убираем пространство вокруг графика N <- 5000 # Размер выборки x <- round (runif (N, 1, 100)) # Равномерное распределение x <- c (x, rep (60, 35)) # Добавляем несколько значений, равных 60 hist_save <- hist (x, breaks = 100) # Сохранить гистограмму col <- cut (h $ breaks, c (- Inf, 58, 59, Inf)) # Цвета гистограммы plot (hist_save, # Построить гистограмму col = c ("# 353436", "красный", "# 353436") [col], ylim = c (0, 110), main = "", xaxs = "я", yaxs = "i")

Множественное вменение в Stata: вменение

Это четвертая часть серии «Множественное вменение в Stata». Список тем, рассматриваемых в этой серии, см. Во введении.

В этом разделе подробно рассказывается о процессе вменения. Убедитесь, что вы прочитали хотя бы предыдущий раздел «Создание моделей вменения», чтобы иметь представление о том, какие проблемы могут повлиять на достоверность ваших результатов.

Пример данных

Чтобы проиллюстрировать процесс, мы будем использовать сфабрикованный набор данных. В отличие от приведенных в разделе примеров, этот набор данных призван иметь некоторое сходство с данными из реального мира.

Файл, создающий этот набор данных

Набор данных в виде файла данных Stata

Наблюдения : 3,000

Переменные :

• розетка (двоичная)
• гонка (категориальная, три значения)
• городской (бинарный)
• edu (упорядочено по категориям, четыре значения)
• exp (непрерывный)
• заработная плата (непрерывная)

Отсутствие : Каждое значение всех переменных, кроме женского, имеет 10% шанс быть полностью случайно пропущенным, но, конечно, в реальном мире мы не узнаем заранее, что это MCAR.Таким образом, мы проверим, является ли это MCAR или MAR (MNAR нельзя проверить, глядя на наблюдаемые данные), используя процедуру, описанную в разделе «Решение о вменении»:

unab numvars: *
unab missvars: городская заработная плата
misstable sum, gen (miss_)

foreach var локальных missvars {
local covars: list numvars - var
display _newline (3) "logit missing of` var 'on `covars'"
logit miss_`var '`covars'
для каждой nvar локальных коваров {
display _newline (3) "ttest of` nvar 'by missing of `var'"
ttest `nvar ', by (miss_`var')
}
}

См. Файл журнала для результатов.

Наша цель - уменьшить заработную плату в зависимости от пола, расы, уровня образования и опыта. Чтобы увидеть «правильные» ответы, откройте файл do, который создает набор данных, и проверьте команду gen, которая определяет заработную плату.

Полный код для процесса вменения можно найти в следующем файле:

Импутация до файла

Процесс условного исчисления дает много результатов. Мы выделим основные моменты на этой странице, однако полный файл журнала, включая соответствующие графики, можно найти здесь:

Файл журнала импутации с графиками

В каждом разделе этой статьи есть ссылки на соответствующий раздел журнала.Нажмите «назад» в вашем браузере, чтобы вернуться на эту страницу.

Настройка

Первым шагом в использовании команд mi является установка данных mi. Это несколько похоже на svyset, tsset или xtset. Команда mi set сообщает Stata, как он должен хранить дополнительные вменения, которые вы создадите. Мы предлагаем использовать широкий формат, так как он немного быстрее. С другой стороны, млонг использует чуть меньше памяти.

Чтобы Stata использовала широкую структуру данных, введите:

mi набор шириной

Чтобы Stata использовала структуру данных mlong (маргинальный длинный), введите:

mi set mlong

Широкий vs.длинная терминология заимствована из reshape, и структуры похожи. Однако они не эквивалентны, и вы никогда не будете использовать reshape для изменения структуры данных, используемой mi. Вместо этого введите mi convert wide или mi convert mlong (добавьте, очистите, если данные не были сохранены с момента последнего изменения).

В большинстве случаев вам не нужно беспокоиться о том, как хранятся вменения: команды mi автоматически определяют, как применить все, что вы делаете, к каждому вменению. Но если вам нужно манипулировать данными так, как mi не может сделать для вас, тогда вам нужно будет узнать детали структуры, которую вы используете.Вам также нужно быть очень и очень осторожным. Если вас интересуют такие вещи (включая редко используемые форматы flong и flongsep), запустите этот do-файл и прочтите комментарии, которые он содержит, изучая браузер данных, чтобы увидеть, как данные выглядят в каждой форме.

Регистрация переменных

Команды mi распознают три типа переменных:

Вмененные переменных - это переменные, которые mi должен вменять или которые были вменены.

Обычные переменные - это переменные, которым mi не следует вменять, либо по выбору, либо потому, что они не пропускают никаких значений.

Пассивные переменные - это переменные, которые полностью определяются другими переменными. Например, логарифмическая заработная плата определяется заработной платой, или показатель ожирения может определяться функцией веса и роста. Термины взаимодействия также являются пассивными переменными , хотя, если вы используете синтаксис взаимодействия Stata, вам не нужно объявлять их как таковые. Пассивные переменные часто вызывают проблемы - примеры преобразований, нелинейности и взаимодействий показывают, как их ненадлежащее использование может привести к смещенным оценкам.

Если пассивная переменная определяется обычными переменными , то ее можно рассматривать как обычную переменную , поскольку вменение не требуется. Пассивные переменные должны рассматриваться как таковые, только если они зависят от условно исчисленных переменных.

Регистрация переменной сообщает Stata, что это за переменная. Всегда должны регистрироваться вмененные переменных:

mi регистр вмененный список переменных

, где список переменных должен быть заменен фактическим списком переменных, которые должны быть вычислены.

Обычные переменные часто не нужно регистрировать, но это хорошая идея:

mi реестр штатный varlist

Необходимо зарегистрировать пассивные переменные:

mi регистр пассивный varlist

Однако пассивных переменных чаще создаются после вменения. Сделайте это с mi passive, и они будут автоматически зарегистрированы как passive .

В данных нашего примера необходимо условно исчислить все переменные, кроме женщин. Соответствующая команда регистра mi:

mi регистр вмененной расовой оплаты

(Обратите внимание, что вы не можете использовать * в качестве своего varlist , даже если вам нужно вменять все свои переменные, потому что это будет включать системные переменные, добавленные mi, установленными для отслеживания структуры вменения.)

Зарегистрировать женщину как обычную необязательно, но это хорошая идея:

ми регистр штатный женский

Проверка модели вменения

На основе типов переменных очевидными методами вменения являются:

• гонка (категориальная, три значения): mlogit
• городской (двоичный): logit
• edu (упорядочено по категориям, четыре значения): ologit
• exp (непрерывный): регресс
• заработная плата (непрерывная): регресс

женщина не нуждается в вменении, но должна быть включена в модели вменения как потому, что она входит в модель анализа, так и потому, что она может быть актуальной.

Прежде чем приступить к вменению, мы проверим каждую из моделей вменения. Всегда запускайте каждую из ваших моделей вменения индивидуально, вне контекста mi вмененной цепочки, чтобы увидеть, сходятся ли они и (насколько это возможно) убедиться, что они указаны правильно.

Код для запуска каждой из этих моделей:

mlogit race i.urban exp заработок i.edu i. женский
logit urban i.race exp заработная плата i.edu i.женский
ologit edu i.urban i.race exp заработок i. женский
regress exp i.urban i.race заработок i.edu i. женский
регресс заработной платы i.urban i.race exp i.edu i. женский

Обратите внимание, что когда категориальные переменные (упорядоченные или нет) отображаются как ковариаты i. расширяет их до наборов индикаторных переменных.

Как мы увидим позже, выходные данные команды mi impute chained включают команды для отдельных моделей, которые она запускает.Таким образом, полезный ярлык, особенно если у вас есть много переменных для вменения, состоит в том, чтобы настроить вашу команду mi impute chained с опцией dryrun, чтобы предотвратить ее фактическое вменение, запустить ее, а затем скопировать команды из выходных данных в ваш файл do для тестирования.

Проблемы сходимости

Прежде всего следует отметить, что все эти модели работают успешно. Сложные модели, такие как mlogit, могут не сойтись, если у вас большое количество категориальных переменных, потому что это часто приводит к маленьким размерам ячеек.Чтобы определить причину проблемы, удалите большинство переменных, убедитесь, что модель работает с тем, что осталось, а затем добавляйте переменные обратно по одной или небольшими группами, пока она не перестанет работать. Поэкспериментировав, вы сможете определить проблемную переменную или комбинацию переменных. На этом этапе вам нужно будет решить, можете ли вы объединить категории, удалить переменные или внести другие изменения, чтобы создать работоспособную модель.

Прогноз префекта

Идеальное предсказание - еще одна проблема, на которую стоит обратить внимание.Процесс вменения не может просто отбросить идеально предсказанные наблюдения, как это может делать логит. Вы можете отбросить их перед вменением, но, похоже, это противоречит цели множественного вменения. Альтернативой является добавление опции дополнения (или просто увеличения) к затронутым методам. Это говорит mi impute chained использовать подход «расширенной регрессии», который добавляет ложные наблюдения с очень малым весом таким образом, что они оказывают незначительное влияние на результаты, но не позволяют совершать точные прогнозы. Подробнее см. В разделе «Проблема точного прогнозирования при вменении категориальных данных» в документации Stata MI.

Проверка на предмет неправильной спецификации

Также следует попытаться оценить, правильно ли указаны модели. Полное обсуждение того, как определить, правильно ли указана регрессионная модель, выходит далеко за рамки этой статьи, но используйте любые инструменты, которые сочтете подходящими. Вот несколько примеров:

Графики зависимости остаточной стоимости от приведенной стоимости

Для непрерывных переменных, остаток vs.графики подобранных значений (легко выполняемые с помощью rvfplot) могут быть полезны - некоторые примеры используют их для обнаружения проблем. Рассмотрим сюжет на опыт:

regress exp i.urban i.race заработная плата i.edu i. женский
rvfplot

Обратите внимание на то, как несколько точек сгруппированы вдоль линии в нижнем левом углу, и нет точек ниже нее:

Это отражает ограничение, заключающееся в том, что опыт не может быть меньше нуля, что означает, что подогнанные значения всегда должны быть больше или равны остаткам, или, в качестве альтернативы, остатки должны быть больше или равны отрицательному из подогнанных значений.(Если бы график имел одинаковый масштаб по обеим осям, линия ограничения была бы линией под углом 45 градусов.) Если бы все точки были ниже аналогичной линии, а не выше нее, это сообщило бы вам, что существует верхняя граница переменной а не нижнюю границу. Y-пересечение линии ограничения указывает предел в любом случае. Вы также можете иметь как нижнюю, так и верхнюю границы, поместив все точки в полосу между ними.

«Очевидная» модель, регресс, не подходит для опыта, потому что она не применяет это ограничение.По той же причине это неуместно и для заработной платы. Альтернативы включают truncreg, ll (0) и pmm (мы будем использовать pmm).

Добавление взаимодействий

В этом примере кажется правдоподобным, что отношения между переменными могут различаться между расой, полом и городскими / сельскими группами. Таким образом, один из способов проверить правильность спецификации - добавить в модели условия взаимодействия и посмотреть, окажутся ли они важными. Для примера сравним очевидную модель:

regress exp i.гоночная заработная плата i.edu i.urban i. женский

с тем, который включает взаимодействия:

regress exp (i.race i.urban i.female) ## (c.wage i.edu)

Мы проведем аналогичные сравнения для моделей других переменных. Это создает большой объем вывода, поэтому смотрите результаты в файле журнала. Взаимодействие между женщинами и другими переменными значимо в моделях опыта, заработной платы, образования и городского хозяйства. Существует несколько значимых взаимодействий между расой или городом и другими переменными, но не так много (и имейте в виду, что с таким количеством коэффициентов мы ожидаем ложных срабатываний, используя уровень значимости.05). Таким образом, мы будем вменять мужчин и женщин отдельно. Это особенно хороший вариант для этого набора данных, потому что самки никогда не пропадают. Если бы это было так, нам пришлось бы отбросить те наблюдения, в которых отсутствуют самки, потому что они не могли быть помещены в ту или иную группу.

В команде вменения это означает добавление опции by (женский). При тестировании моделей это означает запуск команд с префиксом by female: (и удаление female из списков ковариат). Таким образом, улучшенные модели вменения:

bysort female: reg exp i.городская i.race заработная плата i.edu
по женщинам: logit urban exp i.race заработная плата i.edu
от женщины: mlogit race exp i. заработная плата в городе i.edu
по женщинам: reg wage exp i.urban i.race i.edu
от женщины: ologit edu exp i.urban i.race заработная плата

pmm не может быть запущен вне контекста вменения, но, поскольку он основан на регрессии, вы можете использовать обычную регрессию для его тестирования.

Эти модели следует протестировать еще раз, но мы опустим этот процесс.

Расчет

Базовый синтаксис для mi impute chained:

mi вмененная цепочка (method1) varlist1 (method2) varlist2 ... = regvars

Каждый метод определяет метод, который будет использоваться для вменения следующего списка переменных. Возможные варианты метода: regress, pmm, truncreg, intreg, logit, ologit, mlogit, poisson и nbreg. regvars - это список обычных переменных, которые будут использоваться в качестве ковариат в моделях вменения, но не вменяться (их может и не быть).

Основные варианты:

, добавить (N) rseed (R) savetrace (файл трассировки, заменить)

N - количество вменений, добавляемых к набору данных. R - это начальное число, которое будет использоваться для генератора случайных чисел - если вы не установите его, вы будете получать несколько разные вменения при каждом запуске команды. Файл трассировки - это набор данных, в котором mi impute chained будет хранить информацию о процессе вменения. Мы будем использовать этот набор данных для проверки сходимости.

Параметры, относящиеся к конкретному методу, указываются вместе с методом в круглых скобках, но после запятой (например, (mlogit, aug)). Параметры, которые имеют отношение к процессу вменения в целом (например, по (женский)), идут в конце после запятой.

В нашем примере это команда:

mi вмененная цепочка (logit) городская (mlogit) гонка (ologit) edu (pmm) exp заработная плата, прибавить (5) rseed (4409) от (жен.)

Обратите внимание, что здесь нет опции savetrace ().На момент написания статьи by () и savetrace () не могут использоваться одновременно, предположительно потому, что для каждой группы на потребуется один файл трассировки. Stata знает об этой проблеме, и мы надеемся, что это скоро изменится. Для целей этой статьи мы удалим опцию by (), когда придет время проиллюстрировать использование файла трассировки. Если эта проблема возникнет в ходе вашего исследования, поговорите с нами о возможных решениях.

Выбор количества вменений

Между официальными органами существуют некоторые разногласия по поводу того, сколько вменений является достаточным.Некоторые говорят, что 3-10 почти во всех обстоятельствах, документация Stata предлагает не менее 20, в то время как Уайт, Ройстон и Вуд утверждают, что количество вменений должно быть примерно равно проценту случаев с пропущенными значениями. Однако мы не знаем ни одного аргумента о том, что увеличение числа вменений когда-либо вызывает проблемы (просто предельная выгода от другого вменения асимптотически приближается к нулю).

Увеличение количества вменений в вашем анализе практически не требует с вашей стороны работы.Просто измените число в опции add () на большее. С другой стороны, для компьютера может потребоваться много работы - множественное вменение ввело многих исследователей в мир работ, выполнение которых требует часов или дней. Как правило, вы можете предположить, что количество необходимого времени будет пропорционально количеству используемых вменений (например, если выполнение файла do занимает два часа с пятью вменениями, вероятно, потребуется около четырех часов для выполнения с десятью вменениями). Итак, вот наше предложение:

1. Начните с пяти вменений (нижний предел того, что в целом считается законным).
2. Работайте над своим исследовательским проектом до тех пор, пока вы не будете достаточно уверены, что у вас есть анализ в его окончательной форме. Обязательно проделайте все с do-файлами, чтобы вы могли запустить его снова по желанию.
3. Отметьте, сколько времени занимает процесс от вменения до окончательного анализа.
4. Подумайте, сколько времени у вас есть, и решите, сколько вменений вы можете позволить себе выполнить, используя практическое правило, согласно которому необходимое время пропорционально количеству вменений.Если возможно, сделайте количество вменений примерно равным проценту случаев с отсутствующими данными (верхняя оценка того, что требуется). Дайте время прийти в себя, если что-то пойдет не так, как обычно.
5. Увеличьте количество вменений в вашем do-файле и запустите его.
6. Сделайте что-нибудь еще во время выполнения файла do, например напишите статью. Добавление вменений не должно существенно изменить ваши результаты - и, если это маловероятно, считайте, что вам повезло, узнав об этом до публикации.

Ускорение процесса вменения

Множественное вменение познакомило многих исследователей с миром рабочих мест, выполнение которых требует часов, дней или даже недель. Обычно не стоит тратить время на ускорение работы кода Stata, но множественное вменение может быть исключением.

Используйте самый быстрый из доступных вам компьютеров. Для членов SSCC это означает научиться выполнять задания в Linstat, вычислительном кластере SSCC Linux.Linux не так сложен, как вы думаете - в Linstat есть инструкции.

Множественное вменение подразумевает больше операций чтения и записи на диск, чем большинство команд Stata. Иногда это включает запись временных файлов в текущий рабочий каталог. Используйте максимально доступное дисковое пространство как для набора данных, так и для рабочего каталога. В общем, пространство на локальном диске будет быстрее, чем пространство на сетевом диске, а на Linstat / ramdisk («каталог», который фактически хранится в ОЗУ) будет быстрее, чем на локальном диске.С другой стороны, вы не захотите постоянно хранить наборы данных где-либо, кроме сетевого дискового пространства. Поэтому подумайте о том, чтобы ваш файл do делал что-то вроде следующего:

Windows (Winstat или ваш собственный компьютер)

копировать x: \ mydata \ dataset c: \ windows \ temp \ dataset
компакт-диск c: \ windows \ temp
использовать набор данных
{делать что угодно, в том числе сохранять результаты в сети по мере необходимости}
стереть c: \ windows \ temp \ dataset

Linstat

копия / проект / mydata / набор данных / виртуальный диск / набор данных
CD / RAM-диск
использовать набор данных
{делать что угодно, в том числе сохранять результаты в сети по мере необходимости}
стереть / ramdisk / набор данных

Это применимо также, когда вы используете вмененные данные.Если ваш набор данных достаточно велик, чтобы работать с ним после вменения медленно, может помочь описанная выше процедура.

Проверка сходимости

MICE - это итеративный процесс. На каждой итерации mi impute chained сначала оценивает модель вменения, используя как наблюдаемые данные, так и вмененные данные из предыдущей итерации. Затем он извлекает новые условные значения из полученных распределений. Обратите внимание, что в результате каждая итерация имеет некоторую автокорреляцию с предыдущим вменением.

Первая итерация должна быть особым случаем: в ней mi impute chained сначала оценивает модель вменения для переменной с наименьшим количеством пропущенных значений, основываясь только на наблюдаемых данных, и рисует вмененные значения для этой переменной. Затем он оценивает модель для переменной со следующим наименьшим числом пропущенных значений, используя как наблюдаемые значения, так и вмененные значения первой переменной, и действует аналогичным образом для остальных переменных. Таким образом, первая итерация часто бывает нетипичной, а поскольку итерации коррелированы, это может сделать последующие итерации нетипичными.

Чтобы избежать этого, условно-условный расчет mi, связанный по умолчанию, проходит десять итераций для каждого запрашиваемого вами набора условно исчисленных данных, сохраняя только результаты десятой итерации. Первые девять итераций называются периодом приработки. Обычно этого достаточно для того, чтобы эффекты первой итерации стали несущественными и процесс пришел к стационарному состоянию. Однако вам следует проверить сходимость и при необходимости увеличить количество итераций, чтобы обеспечить ее с помощью опции burnin ().

Для этого проверьте файл трассировки, сохраненный функцией mi impute chained. Он содержит среднее значение и стандартное отклонение каждой вмененной переменной на каждой итерации. Они будут варьироваться случайным образом, но не должны показывать тенденции. Легче всего проверить это с помощью tsline, но сначала необходимо изменить форму данных.

В нашей предпочтительной модели вменения используется by (), поэтому она не может сохранить файл трассировки. Таким образом, на данный момент мы удалим с помощью (). Мы также увеличим параметр burnin () до 100, чтобы было легче увидеть, как выглядит стабильная трассировка.Затем мы воспользуемся reshape и tsline для проверки сходимости:

заповедник
mi вмененная цепочка (logit) городская (mlogit) гонка (ologit) edu (pmm) exp wage = female, add (5) rseed (88) savetrace (extrace, replace) burnin (100)
использовать extrace, заменить
изменить форму в ширину * среднее * sd, i (iter) j (m)
цсет итер
tsline exp_mean *, title («Среднее значение вмененного опыта») примечание («Каждая строка предназначена для одного вменения») легенда (выкл.)
экспорт графика conv1.png заменить
tsline exp_sd *, title («Стандартное отклонение вмененных значений опыта») примечание («Каждая строка предназначена для одного вменения») легенда (выкл.)
графический экспорт conv2.png, заменить
восстановить

На полученных графиках явных проблем не видно:

Если вы действительно видите признаки того, что процесс, возможно, не сходимся после десяти итераций по умолчанию, увеличьте количество выполняемых итераций перед сохранением вмененных значений с помощью опции burnin ().Если сходимость никогда не достигается, это указывает на проблему с моделью вменения.

Проверка вмененных значений

После импутации вы должны проверить, похожи ли импутированные данные на наблюдаемые. К сожалению, не существует формального теста, чтобы определить, что «достаточно близко». Конечно, если это данные MAR, но не MCAR, вмененные данные должны систематически отличаться от наблюдаемых данных. По иронии судьбы, чем меньше пропущенных значений вам придется вменять, тем больше будет различий между вмененными данными и наблюдаемыми данными (и между вменениями).

Сравните таблицы частот для двоичных и категориальных переменных. Для непрерывных переменных хорошей отправной точкой является сравнение средних значений и стандартных отклонений, но вы также должны смотреть на общую форму распределения. Для этого мы предлагаем графики плотности ядра или, возможно, гистограммы. Взгляните на каждое вменение по отдельности, а не объединяйте все вмененные значения, чтобы увидеть, не произошло ли какое-либо из них.

миль xeq:

Префикс mi xeq: указывает Stata применять последующую команду к каждому вменению индивидуально.Это также относится к исходным данным - «нулевому условию». Таким образом:

mi xeq: tab race

предоставит вам шесть частотных таблиц: одну для исходных данных и по одной для каждого из пяти условных значений.

Однако мы хотим сравнить наблюдаемые данные только с вмененными данными, а не со всем набором данных. Это требует добавления условия , если в команды вкладки для вменения, но не для наблюдаемых данных. Добавьте число или numlist , чтобы mi xeq действовал на определенные вменения:

mi xeq 0: tab race
mi xeq 1/5: гонка табуляции, если miss_race

Это создает таблицы частот для наблюдаемых значений расы, а затем вмененных значений для всех пяти вменений.

Если вам нужно изучить значительное количество переменных, вы можете легко их перебрать:

foreach var из списка varlist urban race edu {
mi xeq 0: tab `var '
mi xeq 1/5: tab` var' if miss_`var '
}

Результаты см. В файле журнала.

Запуск сводной статистики по непрерывным переменным выполняется так же, но создание графиков плотности ядра добавляет сложности: вам нужно либо сохранить графики, либо дать себе возможность посмотреть на них.mi xeq: может выполнять несколько команд для каждого вменения: просто поместите их все в одну строку с точкой с запятой (;) в конце каждой. (Это не сработает, если вы изменили общий разделитель конца команды на точку с запятой.) Команда сна указывает Stata сделать паузу на определенный период, измеряемый в миллисекундах.

mi xeq 0: kдельная заработная плата; спать 1000
mi xeq 1/5: kплотность заработной платы, если miss_`var '; спать 1000

Опять же, все это можно автоматизировать:

для каждой переменной varlist wage exp {
mi xeq 0: сумма `var '
mi xeq 1/5: сумма` var' if miss_`var '
mi xeq 0: kde density `var'; sleep 1000
mi xeq 1/5: kde density `var 'if miss_`var'; спать 1000
}

Сохранение графиков оказывается немного сложнее, потому что вам нужно дать графику из каждого вменения другое имя файла.К сожалению, вы не можете получить доступ к условному номеру в mi xeq. Однако вы можете выполнить цикл forvalues ​​по числам вменения, а затем заставить mi xeq воздействовать на каждое из них:

forval i = 1/5 {
mi xeq `i ': kde density exp if miss_exp; graph export exp`i'.png, заменить
}

Интеграция с предыдущей версией дает:

для каждой переменной varlist wage exp {
mi xeq 0: сумма `var '
mi xeq 1/5: сумма` var' if miss_`var '
mi xeq 0: kde density `var'; экспорт графика chk`var'0.png заменить
forval i = 1/5 {
mi xeq `i ': kde density` var' if miss_`var '; экспорт графика chk`var'`i'.png, заменить
}
}

Результаты см. В файле журнала.

Вызывает беспокойство то, что при всех вменениях среднее значение вмененных значений заработной платы выше, чем среднее из наблюдаемых значений заработной платы, а среднее значение вмененных значений exp ниже, чем среднее из наблюдаемых значений exp. Мы не нашли доказательств того, что данные относятся к MAR, но не к MCAR, поэтому мы ожидаем, что средние значения импутированных данных будут сгруппированы вокруг средних значений наблюдаемых данных.Не существует формального теста, чтобы окончательно сказать нам, проблема это или нет.