前回の記事のフォローアップとして、ビジネスの成長の原動力を特定する方法の一部として、今度はうさぎの穴をさらに掘り下げて、成長イニシアチブの影響を測定する方法を調べたいと思います。製品の更新、PR、マーケティングキャンペーンなどのアクションが顧客の成長、維持率、エンゲージメントに与える影響を評価するためのツールをいくつか提供します。これは、統計家としての私の以前の仕事からの反省を表しており、企業が取引された証券の反応を介して内部および外部のイベントの評価への影響を評価するのに役立ちます。
ヘッジファンドやウォールストリートの世界でより一般的な統計的影響ツールは、現在適用されている方法よりも、成長を管理するためのテクノロジー企業にとってはるかに役立つ可能性があると思います。ユーザーまたはクライアントの行動に関するさまざまな高周波情報を利用できるようにするテクノロジーにより、熟練した統計アナリストまたはデータアナリストが商業チーム内の真の資産となる可能性があります。
評価への統計的影響を測定する例として、上場企業が新製品を発表し、それが評価にどの程度影響したかを知りたいと仮定します。実際の影響を見積もるには、以下を考慮する必要があります。
民間企業の場合、株価活動の結果として機能する短期および長期のアクティブユーザーまたはクライアントの変化について同じ分析を行うことができます。これは、エンゲージメントの保持と深さの指標にも当てはまります。
この丸みを帯びた分析形式を確立することで、企業は、実際にはランダムな変動にすぎない市場やユーザーの反応に惑わされるのではなく、はるかに強力な情報信号に基づいて限られたリソースを振り向けることができます。信号をノイズから分離する統計モデルを設定する最初の作業は、企業の成長努力にもたらす洞察を介して多大な利益をもたらす可能性があります。これは、新しいデータを受信したときに簡単に（そして多くの場合は自動的に）更新および改良できる反復プロセスでもあります。
企業による測定作業は、次の成長の側面の少なくとも1つを対象にする必要があります。
3つの次元はすべて定量化可能であり、会社はその値をこれらの3つの点によって形成される三角形の面積として概念化できます。 1つが崩壊すると、他の2つの潜在的な価値は厳しく制限されます。 「あなたを愛する少数のユーザーはあなたを愛する多くのユーザーよりも優れている」という多くの創設者や投資家に確かに同意しますが、これが強力なエンゲージメントと維持に加えてトップラインの成長の重要性と矛盾するとは思わない。軌道はレベルよりもはるかに重要であり、真に熱心なユーザーの少数のグループから始めて、そもそも長期的な成長のための初期条件を設定するのが最善です。
次に、会社の主要なタスクは、これら3つの主要なメトリックの1つ以上に対するアクションの真の効果を測定できる分析フレームワークを確立することです。会社は、モデルごとに異なるモデルをテストするか、連立方程式などのツールを使用してモデルをより直接的にリンクすることができます。私の経験では、マーケティングとPRの取り組みは、会社が投資の見返りを受け取っているかどうかについての厳密な分析の欠如に特に苦しむ傾向があります。合計視聴回数、クリック数、シェアなどの特定の指標はほとんどの場合記録されますが、これらはすべて目的を達成するための手段であり、顧客のコンバージョンとエンゲージメントへの影響に関する次の質問が真剣に分析されることはめったにありません。
まず、1回限りのイベントの簡略化されたバージョンから始めます。会社が0日目に新製品のアップデートをリリースするか、大きなPRストーリーを公開し、それが成長への影響という点で正しい方向への動きを表しているかどうかを知りたいとします。会社が同様の取り組みを継続する必要があるという実際のシグナルを受信したかどうかを判断するには、問題のイベントがない場合に、どれだけ増加したか、どれだけ増加したかを知る必要があります。
ベンチマークの成長は、外部変数と内部変数に基づいて企業の成長、維持、またはエンゲージメントを予測する回帰モデルを介して推定できます。場合によっては、製品の更新の影響を受けるユーザーを分離する機能により、コントロールグループを使用した直接A/Bテストが可能になります。ただし、これは、現在および潜在的なすべてのユーザーにある程度均一に影響を与える大規模な製品、PR、およびビジネスの取り組みには当てはまりません。このようなテストに利用できる優れたリソースはいくつかありますが、多くの初期段階の企業はそれらを高価だと感じる可能性があります。
このモデルで考慮できる変数は次のとおりです。
| セクターの傾向 |
|
|---|---|
| ターゲット顧客の傾向 |
|
| S＆P500と追加のセクター関連サブインデックス |
|
| 金利や為替レートなどのマクロ変数 |
|
| 紹介率などの内部要因 |
|
| 季節性/周期性 |
|
すべての変数は、パーセンテージではなく対数を使用して、絶対レベルではなく変化率として指定する必要があります。
各変数の時間枠も同様に慎重に検討する必要があります。一部の変数は主導的です（たとえば、株式市場は期待に大きく基づいています）が、ユーザー満足度評価などの他の変数は過去の経験に基づいていますが、確かに期待される成長に関連する可能性があります。
回帰自体については、通常最小二乗（OLS）から始めて、特定の理由で他の関数形式にのみ進むことをお勧めします。 OLSは用途が広く、同様に、他のより複雑な形式よりも結果をより直接的に解釈できます。 OLSのコンテキストでの変更には、非線形変数、交互作用変数（たとえば、現在の顧客満足度やソーシャルメディアアクティビティ）の対数回帰、およびより大きな値で不均衡な影響があると思われる二乗変数が含まれます。成長は指数関数的であることが期待されるため、対数回帰は確かに強力な適合を証明する可能性があります。
アクションの影響の期間については、ユーザーのアクションまたは購入の頻度を考慮して、影響を探す適切な間隔を決定するのに役立ててください。 1日より長い時間枠を使用する場合、週ごとのアクティブユーザーは、その週の日ごとのアクティブユーザーの合計ではないことに注意してください。私がその週に毎日あなたの製品を積極的に使用している場合、私は毎日の分析のために毎日数えられます。その後、週次分析に変更した場合、私は1回だけ表示する必要があるため、個々の日数を合計すると過大評価されます。
次に、このモデルを使用すると、これらの説明変数のパフォーマンスに基づいて、特定の瞬間または継続的な期間の予想される成長/保持/エンゲージメントを見積もることができます。この予想される成長とイベント後に観察される実際の成長との違いは、影響を示す可能性のある異常な部分です。この異常な成長を予想される成長の標準偏差で割ると、異常なコンポーネントが偶然に発生する可能性がどの程度あるかがわかります。通常、1.96の結果（予測値から約2標準偏差離れている）は、偶然に発生しなかったと見なすためのカットオフとして使用されます。
コホートのコンテキストでは、保持とエンゲージメントは、連続するコホート間での変化（つまり、各コホートに対して固定された値を保持する）の観点から、または全体の保持とエンゲージメントの経時変化の観点から考えることができます。コホート。
成長戦略は、多くの場合、1回限りの取り組みではなく、一連のイベントを展開することを目的としています。これは、複数の取り組みを行うことによるより直接的な影響と、顧客にパターン自体を示すことによる根本的な影響の両方を目的としています。したがって、影響分析では累積的な影響も調べることができます。個々に重要でない一連のイベントは、重大な累積的影響をもたらす可能性があり、逆に、一連の重要なイベントは、重要でないことにつながる可能性があります。
最初の状況は、「ゆっくりと着実にレースに勝つ」と考えることができます。あなたの売り上げが、関連するセクターよりも1週間あたり数パーセントの速さで増加するとします。特定の企業の成長は偶然にベンチマークとわずかに異なるため、短期的にはこれは何の意味もありません。ただし、わずかなパフォーマンスの低下が十分長く続く場合は、最終的には、会社の成長率が市場の成長率を本当に上回っていると自信を持って述べることができます。
2番目の状況は、本質的にあらゆる種類の逆転です。人々が情報を真に処理する前に開発に反応することができるますます頻繁な手段、および短期間の群れの精神は、より直接的なノイズを通して反応の真の大きさと持続時間を確実に考慮するという課題をもたらします。特定の状況下では、ユーザーと市場は短期的には体系的に過剰反応する傾向がありますが（新しいテクノロジー、通貨市場、そして多くの場合、企業にとって深刻な脅威とはならない悪いニュース）、後で自分自身を修正します。
2つの状況は次のように説明できます。信頼区間は、観測値の95％が含まれると予想できる範囲を示します。これは通常、統計的に有意であると見なすためのしきい値として使用されます。
重大な逆転がないことは、持続的な影響の証拠と見なすことができます。証拠の欠如は欠如の証拠ではないという経験的懐疑論の通常の規則に反して実行されるため、この論理には注意する必要がありますが、それは私たちができる最善のことです。
個々の期間にわたるパーセント/対数の変化を比較するときは注意してください。 99％の減少とそれに続く99％の増加は、わずかな累積変化に正確に相殺されるわけではありません。最終的には累積的な変化を考慮してください。
限られた期間（ホリデーシーズンなど）内の特定のPRキャンペーンなどの一連のイベントの累積的な影響を測定している場合は、その期間に含まれるすべての暦日または週の成長を追跡することをお勧めします。 、それぞれが特定のアクションを実行したかどうか。ヒットの間にわずかな遅延がある場合でも、1-2-3パンチが特定の期間内にノックアウトをもたらすことを基本的に望んでいます。
問題のイベントがさらに離れていても、累積的な影響を評価したい場合は、それらを1つの連続した一連の日数にまとめてから、同じ分析を実行することを検討してください。これでは、基本的に「1日目は1月5日、2日目は3月15日、3日目は4月10日…」と言って、実際に完全に連続した日付であるかのように、ベンチマークによって予測された変化に対する累積変化をテストします。有意性の検定は、累積期間を形成する日数/週数の平方根に標準偏差を上げることを除いて、単一のイベントの場合と同じ式になります。
世界が私たちのアイデアをテストするための完璧な実験室条件の礼儀を私たちに与えることはめったにないので、コアモデルが確立されたら、私たちの行動と同時に期待される成長率に影響を与える他の情報を制御する必要があります測定を求めています。
PRイベントや製品のアップデートと同時に、残念ながらトップエグゼクティブがマスコミからのファンファーレの中で競合他社に向けて出発することを決定し、一部のユーザーがこれを相対的なメリットのシグナルと見なす可能性があると懸念しているとしましょう。 2つの製品。残念ながら、非常に迅速な解決策の1つは、インジケーター変数を使用して、データポイントを交絡した無関係のイベントとしてマークすることです。
ただし、「交絡」イベントの以前のインスタンスに関するデータを取得できる場合は、特定のイベントが同様の状況でどの程度の影響を与える傾向があるかを予測できる横断的分析を実行でき、削除できます。最終結果から予想される影響。上記の例では、他社の著名なチームメンバーの離職を取り巻くユーザーアクティビティに関するデータにより、その特定の要因の影響を推定して分離し、希望したPRイベントまたは製品の更新の影響を分離することができます。評価します。
多くの企業はまた、季節や休日などの特定の重要な瞬間に基づいて季節性に直面する可能性があります。これを制御するために、問題の時期にインジケーター変数を割り当てます。
成長努力のための分析と戦略の結果を検討するとき、人々が前向きな進展に反応するためにどのように文書化されているかについての特定の非線形効果を覚えておく価値があります。
アップ感度とダウン感度は大きく異なる場合があります。データと時間が許せば、両方があなたに関連している場合は、ポジティブイベントとネガティブイベントの両方の予想される効果を推定することを検討してください。残念ながら、多くの場合、ユーザーの行動から金融市場に至るまでの下向きの動きは、上向きの動きよりもはるかに急激で深刻なものになる可能性があります。
複数のアクションを一度に実行することによる複合効果は、それらを順番に実行することの効果と等しくない場合があります。これは、進行中のパターンの事実自体がプラスまたはマイナスの効果をもたらす可能性があるためです。会社が毎月製品の更新をリリースするパターンは、ユーザーに自信を植え付けることができますが、レイオフや評価減などの否定的なイベントを複数回発表すると、会社が自分自身を完全に理解していないという心配を引き起こし、非常に不釣り合いな影響を与える可能性があります状況。上場企業は、悪いニュース自体の事実から最初の「修正された」ヒットが発生する傾向があり、その後の影響はわずかであるため、多くの場合、「入浴」してすべての悪いニュースを一度にリリースします。たとえば、「魚雷効果」は、悪いニュースの単なる存在が値下げの意味のある部分を説明できるという経験的現象を説明しています。したがって、負のドロップは、ニュースまたは開発の実際のコンテンツからの限界効果の減少に道を譲る初期の固定効果に分解することができます。 PRキャンペーンは、1つの単一のメガイベントよりもシーケンスとしてうまく機能します。これは、目標が時間の経過とともに会社を位置付けることであるためです。
もちろん、分散は過去にのみ測定できますが、特定のイベントによって、根本的な真の分散と、異常な成長が偶然に発生した確率が変わる可能性があります。新しい差異自体は問題のイベントの結果であるため、それに伴うより大きな差異に基づいてイベントの重要性を却下するという循環論法を回避するために、以前の差異を使用する必要があります。ただし、いつものように、議論があり、それぞれの状況は異なる場合があります。
前に述べたように、人間の心理学と非常に現実的な市場構造の両方のために、成長または成長の鈍化は両方ともしばらくの間同様の効果を生む可能性があります。運動量効果を測定するために利用できるさまざまな高度な自己相関テストがありますが、ラグバージョン自体の成長系列を回帰するより「手動」のアプローチの方が透明性が高く、実験が容易であることがわかります。
このようなテストを可能にするモデルが開発された後は、ユーザーの行動や売上などを追跡するための会社のプラットフォームをコードに直接リンクして、新しいデータを受信したときに係数を継続的に更新できない理由はありません。私の個人的な好みは、データセットのサイズとより最近の情報のより高い値とのバランスを取り、季節性の場合には当然1年中のすべての時間を含むという点で、可能な場合は常に1年間の推定期間を設けることでした。
事業や製品の性質に構造的な変化がないと仮定すると、推定期間を1年を超えて延長しない理由はありませんが、急成長している若い企業は急速に進化する傾向があります。ソフトウェア主導の企業は、GitHubに直接リンクして、ソフトウェアの更新が影響について自動的にテストされるプロセスを作成できます。この直接リンクを作成し、機能を自動的に進化させることで、会社に機械学習を導入するための第一歩を踏み出しました。
情報が世界で最も価値のある商品であることがよく指摘されますが、データが情報ではないということはあまり言及されていません。それどころか、企業は、競合する物語を伝えているように見える可能性のある非常に多くのデータに圧倒されており、その多くは、ランダム性に基づく単なる偽のパターンである可能性があります。統計は、最高の状態で、主要な変数と関係に迅速に焦点を合わせ、実際のテストのためにそれらを展開するという削減のプロセスです。この形式の分析の精神は、何よりも、意思決定の基礎となる前にデータが実際の情報であることを証明することにより、意思決定プロセスに健全な懐疑論を吹き込むことです。