Mugiyama社会学を勉強したり、カピバラさんを愛でたりしています。本日の研究会にて、標題のタイトルで発表をさせていただきました。functionなど)にも触れています。資料は以下になります。Notesの方にもアップロードしております。修正版)イベントヒストリー分析をしてみたいという方の助けになれば幸いです。追記(2018/9/3)よくアクセスされているようで恐縮ですが、資料にいろいろと間違いがあることがわかっているので、参考程度にしてすべて信じないようにしてください。時間に余裕ができ次第、大幅に改稿したいと思います。簡単に固定効果モデルについて確認します。more社会学のための統計分析基礎:統計ソフトSPSSを用いて今年度より、所属研究室にて、社会調査実習という学部生・院生向けの授業のTAを担当しています。同じ対象者に対して複数回の調査を実施して得られたデータをパネルデータといいます。授業のReadingsで読んだ論文が面白かったのでメモ。17:51たしかに、どこかからサンプルデータを持ってこれるとよいですね。今のところ生命表や生存関数の描き方についてはさらっと書くのに留まっているので、このあたりもう少し充実させたいと思います。検討してみます、ありがとうございます。独学で勉強しているもので、大変勉強になりました。分析はできないものかと考えております。21:44参考にしていただきありがとうございます。パーソンピリオドデータに対してハザードモデルをそのまま使用することはできます。dist(weibull)****************************************のようにすれば推定することができます。詳しい解説は、Stataのstcoxやstregのhelpファイルを参照ください。22:55ありがとうございます。参考にさせていただきます。23:04また、上記の資料だとパーソンピリオドデータについても気になる点があります。対象期間を5年間とし離婚をイベントだとすると、A氏は3年目で離婚したため、4年目からはデータから排除し、B氏は5年間の間には離婚しなかったため5年間のデータが全て揃っているというデータもパーソンピリオドデータと呼んで良いのでしょうか?(離婚した場合は翌年からデータ内より排除、離婚していなければ5年間のデータが全て揃うというものです。)パーソンピリオドデータでのハザードモデルの分析に関する著者はないため、大変参考になっております。23:24>パーソンピリオドデータをそのままハザードモデルに用いる場合は、その変数(例えば、賃金や利益率など)は合計の値ではなく、その時点tごとの値を使うことはできるのでしょうか?できます。tにおける各時点の変数の値を使用することは可能、というより、そのほうが多くの場合適切です。>例えば、対象期間を5年間とし離婚をイベントだとすると、A氏は3年目で離婚したため、4年目からはデータから排除し、B氏は5年間の間には離婚しなかったため5年間のデータが全て揃っているというデータもパーソンピリオドデータと呼んで良いのでしょうか?パーソンピリオドデータはその名前のとおり人×時間という構造を持つデータのことですから、イベントの発生あるいは打ち切りとは無関係に、同一個人が複数時点(この場合は年)の記録を有する場合にはそのデータ全体のことを指してパーソンピリオドデータと呼んで問題ないと思います。初心者ですが、最近興味を持って勉強するようになったのでわからないことが多く、こちらサイトで色々と学んでおります。細かい点まで教えてくださって本当にありがとうございます。00:28お久しぶりです。前回教えていただいた通りに、まずstataでのセットの時に、累積期間ではなくその時点のtを認識させて分析するようにしてみました。すると、累積期間で認識させパーソンピリオドデータで分析した場合と、時点tで認識させてパーソンピリオドデータで分析した場合では結果が反対になってしまいました。14:37ちょっと今の情報だけだと、どちらの方法が適切あるいは不適切とは言えません。具体的にどのような構造のデータを使ってどのような分析をしており、かつ、ここでの「累積期間」と「時点t」というのがそれぞれどのような変数であるのか分からないので、そのあたりをもう少し詳しく教えていただければより具体的なアドバイスはできると思います。ここのコメント欄に書きづらいようでしたら、メール(mugiyamaあっとまーくg.ecc.u-tokyo.ac.jp)にてお問い合わせいただいても構いません。22:07遅くなってしまって申し訳ありません。ご丁寧に本当にありがとうございます。データ自体に問題があったようで、訂正をしたところ累積期間で分析した場合と時点で分析した場合どちらも結果は大きく変わらないとわかりました。質問で申し訳ないのですが、通常の回帰分析は年次ダミーをいれるようですが、ハザードモデルは時間に関わらずアウトカムの発生率が一定であると仮定しているためハザードモデルには年次ダミーはいれないのでしょうか?いくつかハザードモデルで分析している例を確認してみましたが、年次ダミーは入っていないようでした。08:17お久しぶりです。ご丁寧に説明してくださって本当にありがとうございます。その後、データセット自体に問題があることを発見し、作り直してみたところ累積期間でも時点でもおおきく変わらない結果が得られました。何度も何度も質問してしまって恐縮ですが、また教えて頂きたいことがあります。時間的考慮がなされたモデルのため年次ダミーは必要ないのでしょうか?いくつかパーソンピリオドデータで分析している例を確認してみましたが、入れているものが極少数で、ほとんどが入れていないようでしたので。11:53ご質問への回答ですが、生存分析で年次ダミーを入れるかどうかは目的によります。ハザードモデルにおける「時間的考慮」というのは要するに基底ハザードのことと思います。これはイベント発生のリスクがリスク暴露期間によっていかに変動するのかということを問題としています。離職をイベントとする分析の場合、勤続年数(その会社に勤め始めてから1年、2年......)によって離職の発生リスクは変化すると考えられるため、何らかの関数系によってこのリスクの形状を表現する必要があります。対してさらに年次ダミーを投入するという場合、勤続期間を一定としてもなお、特定の時点に離職が発生するリスクが影響される(たとえば労働市場の需要が高まっている年には離職が起こりやすい、というような)という効果をコントロールするということになります。このような影響が存在し、かつ年次が関心のある独立変数と相関しうると想定するのであれば、年次ダミーを入れることは適切な判断になります(ただしサンプルサイズが小さく各年でイベントが十分に発生していない場合は時点の効果がうまく推定できないことがあるのでそこは注意が必要になります)。これは年次ダミーでなく、有効求人倍率とか完全失業率のようなマクロな指標を外挿してもかまいません。18:44ありがとうございます。年次ダミーを入れた分析と入れていない分析ではそれぞれ目的が違うということなんですね。通常の回帰分析では年次ダミーを含むことが一般的であるのに対して、ハザードモデルではいれる場合と入れない場合があるのはそういう理由でしたか。01:13間違っていないというより、少し意味が異なってきます。いうと、年次ダミーでサンプルを分割した場合、推定される(年次ダミー以外の)独立変数の係数は年次ダミーで分割したサンプル内での効果、ということになります。それに対してサンプルは分割せずに年次ダミーを統制した場合、推定される独立変数の係数は変数ごとの年次の分布を揃えたうえでの効果ということになります。このあたりは生存分析に固有の問題というよりは、一般的な回帰分析と同じ話になります。likelihood」とのことでした。13:52必要かどうかというのは分析そのものからはわかりません。推定結果が得られない理由はわかるかもしれません。likelihood”で検索してみると、どうやらCox比例ハザードモデルを推定したときに現れるエラーのようです。どのようなデータを分析しているのかわかりませんので推測ですが、1度もイベントが発生していない年次があるのではないでしょうか(ロジスティック回帰分析でいうと、独立変数でグループ化したときに従属変数がすべて0または1となるようなグループがある場合には当該のグループについての係数の推定結果が得られないということと同じです)。そのような年次が現れないように適当に5年区切りのダミー変数にしてみるなどの対処をしたうえで再度推定してみてはいかがでしょうか。14:40ありがとうございます。確認したところ、イベントは必ず毎年発生しており、イベント発生無しの年はないようでした分析期間が12年なので、4年ごとに区分した場合、6年ごとに区分した場合の2つを試してみました。p値などほかの結果が表示されませんでした。14:48ということは、何かデータの作成の仕方に誤りがあるか、stsetの指定の仕方に誤りがあるか、もしくは年次ダミーと強い共線性のある変数が入っている(例えば継続時間を示すダミー変数)といった原因が考えられます。このあたり確認してみてはいかがでしょうか。15:33相関も確認してみましたが、相関の高い変数は存在していませんでした。データセット自体の間違いも私が確認したところないようです。イメージではありますが一応データセットの写真を載せさせていただきます。対象期間は12年間であり、イベントが発生した場合は翌年からデータから削除されます。イベント発生がない人物に関しては必ず12年間のデータが存在し、イベントが発生した人物に関しては発生した年ごとにデータの数が異なります。16:36「年次ダミー」という言葉でおっしゃっていることが理解できました。要するにおっしゃっている年次ダミーというのはリスク暴露の期間のことを指していたのですね。なると、この変数は時間の経過とともにすべての個人について同一に増加していくので、Cox比例ハザードモデルを使う限りはこの変数を分析に含めることはできません。)を使うと、推定ができると思います。このデータをそのままロジットモデルで推定(いわゆる「離散時間ロジットモデル」)しても構いません。17:42すみません、私の説明が下手なばかりに誤解を招いてしまいました。私の示していた年次ダミーとは時点tが1の場合には1,そうでなければ0をつけるダミーのことで、最終的に12年間分12個の年次ダミーが作成できるのではないかと考えておりました。(分析に追加するときにはベースを決め、どれか1つを抜く必要があるとはお思いますが)考えてみると、確かに同一に増加が見込まれる変数のためハザードモデルには含むことができませんよね。統計が初心者で回帰分析には年次ダミーを含むものだと思い込んでいたため、どうしてハザードモデルでは年次ダミー自体をいれないのかが分からずに困惑しておりましたが、まずStataにデータセットで時点tを認識させているため、年ごとの影響をコントロールするために年次ダミーを含むのはおかしいですよね。教えて頂いた通りにロジットモデルを用いてもみますが、このままハザードモデルでの推計を行っても支障はありませんよね?毎回見ず知らずの私に対して丁寧に説明して下さって本当にありがとうございます。1人で独学で勉強しているために分からない点が多く、本当に感謝しております。00:01そうですね。実質的な結果(係数の正負など)は年次ダミーを統制したロジットモデルと、Cox比例ハザードモデルとでほぼ同じになると思いますので、どちらを使ってもよいと思います。19:51話がまた戻ってしまうのですが、上記のデータセットの作り方で、分析期間を分けて推計を行うことは妥当でしょうか?例えば、tが1~6の企業だけでハザード分析し、tが7~12の企業だけでハザード分析するということです。(もちろん、Stataに認識させるときはtが7~12の企業はtを1~6に置き換えます)しかし、ハザードモデルだとイベント発生確率が年によって変化しないというベースハザードの前提を置いているので、期間を分けて分析するということが正しいのかどうかがわかりません。21:00経過時間tでサンプルを分割して分析することは可能です(「妥当」かどうかは問題関心に依存します)。この場合の分析結果は先に述べたとおり、推定される独立変数の係数は年次ダミーで分割したサンプル内での効果という解釈になります。サンプルを分割した結果ある独立変数の係数が大きく異なる場合、当該の独立変数は(他の独立変数を統制したうえで)経過時間の初期よりも後期のほうがより強い効果を持っているなどといった解釈ができます。Cox比例ハザードモデルはイベント発生確率(ハザード)が時間によって変化しないという前提を置いたモデルではなく、ハザード関数を推定することなく独立変数の係数を得るというモデルです。Cox比例ハザードモデルの仮定は比例ハザード性の仮定であり、これは独立変数の効果(ハザードを高める/低める効果)が時間の経過によらず一定であるということを意味します。先のような結果が得られる場合、この比例ハザード性の仮定に逸脱していることが疑われる、ということを意味します。)のページなどが参考になるかと思います。21:11ありがとうございます。先のことととは、分析結果が前半期間と後半期間および全期間で変わるという場合のことですよね?例えば、前半期間で有意にならなかった係数が後半期間に優位になった場合、これは仮定が成り立たず逸脱しているということですね。21:17しかし、期間を2つに分けてしまうとサンプル企業自体も2つを期間によって変わることになってしまいますよね。(もちろん12年間イベントが発生しなかった企業は2つの期間どちらも含まれてしまいますが。)そうすると、前半期間で有意でなかったけれども後半期間で有意になるのは妥当ではある気がします。全期間で分析した場合、後半期間の有意性が強く反映され、全期間でも有意になるということもあり得る気がします。21:41Stataを使用している場合、サンプルを分割するという方法でなく(よりフォーマルに)比例ハザード性の検定ができます。比例ハザード性からの逸脱が見られるからといってそれは即座に比例ハザードモデルは使用できないということを意味しません(現実の分析でOLSの仮定が完全に満たされる場合はほとんどないということと似ています)。比例ハザード性からの逸脱が議論したい内容の妨げになるようであれば、以上のような対処が必要となるでしょう。期間を分けた場合の有意性に関してですが、有意かどうかというのはサンプルサイズやイベントの発生数、独立変数の分散に依存するので、当然そのようなこともあると思います。係数が有意かどうかということだけでなく、係数の大きさと標準誤差をみて総合的に判断すべきと思います。21:51分析期間を分ける理由としては、年ごとにイベント発生の要因が変わる可能性があり、それを観察したいからです。離婚をイベントにした場合、前半期間では夫の収入が有意になるけれども、後半期間では有意にならないとします。離婚のモティベーションが前半期間では夫の収入によるものなのに、後半期間では異なる要因がモティベーションであるということを示したいのです。前半期間では収入を重視していたけれども、後半期間では金銭的な要因ではなく性格つまり互いの相性が要因であるということを、分析期間を2つに分けることで言えれば良いのではないかと考えております。model、離散時間のモデルなら離散時間ロジットモデルなど)を使うことです。ここでの方法は以下の2つあります。基底ハザード関数と関心のある(たとえばここでは収入)独立変数との交互作用項を取り、交互作用項の係数がどのように変化するのかをみる。ハザード期間の「前半」(または「後半」)を示すダミー変数を作成して収入との交互作用項を投入し、その係数(が有意であるか)をみる。分析期間を前半と後半に分けた推定も行ってよいと思いますが、サンプルを分割して片方では有意、もう片方では有意でなかったとしても、両者で得られた係数の値の「差」が有意であるか否かを検定していないため、やや主張の説得力は落ちると思います。21:57お久しぶりです。教えて頂いた二つの方法を試してみました。分析の理解がより深まりました。ありがとうございます。そこで今度はハザードモデル自体に関して確認したいことがあります。ハザードモデルを用いる理由としては、打ち切りというサバイバルバイアスに対応しているという点が挙げられると思います。離婚をイベントとした場合、離婚した後は再婚しないと仮定すると、離婚した後のデータのその後は観察できませんよね。その場合、離婚が発生した後は打ち切りデータとして扱うと考えております。すると、離婚と非離婚の割合は毎年変化すると考えられます。すると、最終的に対象期間の一番最後には非離婚の割合が一番最初の期間よりも少なくなります。13:32すみません、おっしゃる内容をうまく理解できていません。一般的な話をすると、たとえばある時点で何らかの状態における生存期間を従属変数とする分析を行うと、すでに別の状態に移ってしまったケースを分析から除外しているために、生存期間に対する独立変数の影響を正しく捉えることができないという問題があります。ハザード(単位時間あたりのイベント生起率)を従属変数に使用しようというのがいわゆる生存分析です。いっても(私の考えでは)打ち切りによる「バイアス」というのは生存分析を使用する本質的なモチベーションではなくて、先述の分析と生存分析ではそもそも知りたいものが違いますから、生存分析に適しているかどうかは問題に依存します。コメントをキャンセルメールアドレスが公開されることはありません。*サイト次回のコメントで使用するためブラウザーに自分の名前、メールアドレス、サイトを保存する。コメントデータの処理方法の詳細はこちらをご覧ください。社会学を専門としています。くわしいプロフィールはこちら。