t検定が最も強力な違いの検出ツールであることは間違いありませんが、貴方が得た有意差があるという結論は、どのぐらいの確かさを持つのでしょうか。なぜいろいろな検定方法があるのでしょうか。ベイズやAI統計との違いは何でしょうか。Pythonを使って実験してみましょう。
正規分布の平均値が50違う時、取り出すサンプル数を変えると2群の分布がどのような形になるか、t検定の結果がどうなるかを見て考えてください。
取り出す2群の平均値が100と105と違いが少ない場合はどうなるか見て考えてください。
2群から取り出すサンプルを10ずつにした時、平均値の違いによって標本の分布とt検定の結果がどのように変わるかを見てみましょう。
2群から取り出すサンプル数を10000としたときはどのように変わるかを見てみましょう。
正規分布の平均値を100から150まで1ずつ増やしながら各1000回取り出してt検定を行いました。どれぐらいのnが必要かを視覚的に確認してください。