「あなたは一流の専門家です」とAIに書いても、答えは良くなりません

「あなたは一流のウェブ解析コンサルタントです」

AIへの指示文を、こう書き出していませんか。役柄を与えると答えが良くなる、丁寧に頼むほうがよい――。プロンプト集やセミナーで、よく聞く話です。

でも、役柄や口調でAIの答えが正確になる保証はありません。ウェブコンサルタントが磨くべきなのは、AIへの話しかけ方ではなく、AIに渡す材料を選ぶ力です。

目次

専門家の役を与えても、正確さは上がらなかった

問題の分野に合った専門家の役を与えても、AIの正答率はほとんど変わらないという研究があります。米ペンシルベニア大学ウォートン校のチーム(Basil ほか、2025年)は6つのAI(GPT-4o、o3-mini、Gemini 2.5 Flash など)に、大学院レベルの理科の問題198問と、工学・法律・化学から100問ずつ選んだ300問を解かせました。1問につき25回ずつ「物理の専門家として答えてください」のような役柄を付けた場合と、付けない場合を比べています。

正答率が上がったのは一部のAIの一部の分野だけで、研究チームはそれも例外的だと見ています。分野違いの専門家の役を与えると「その分野は専門外です」と答えを断るAIまで出て、正答率が下がりました。幼い子どもの役を与えると、多くのAIで成績が落ちました。

研究チームは、専門家の役を与えることは正確さを上げる確かな方法ではないと結論づけています。役柄が変えられるのは口調や話の焦点で、正確さが安定して上がるとは期待しないほうがよい、ということです。

丁寧に頼んでも、答えは良くならない

丁寧にすればするほど、AIの成績が良くなるわけではないとする研究もあります。早稲田大学・理化学研究所・国立情報学研究所のチーム(Yin ほか、2024年)は、英語・中国語・日本語で、頼み方の丁寧さを8段階に変えてAIに問題を解かせました。

失礼な頼み方をすると成績は下がることが多いという結果だった一方で、丁寧さを上げても成績が上がるとは限りませんでした。いちばん成績が良い丁寧さは、言語によっても違いました。礼を失しないことは大事ですが、へりくだれば答えが良くなるわけではないのです。
(紹介した論文は私の論文でまとめてご紹介しています)

役柄では何も解決しない

指示文の書き方の工夫で答えを良くしようとすることを「プロンプトエンジニアリング」と言います。プロンプトエンジニアリングを教えるAIの専門家は、間違ったことを伝えているのでしょうか。

AIの使い方が得意でも、マーケティングの専門家であるとは限りません。あなたの業界の知識も持っていません。だから彼らが教えられるのは、プレゼン資料から晩ごはんの献立まで、何でも通用する一般論だけです。

本当に必要なのは、組織が何をしたのか、レポートを見るのは誰で、何を決めるのか、「会員登録ページ閲覧」というイベントは、どんな条件で記録されるのかといった情報です。1-1で紹介した実験でも「あなたはウェブ解析の専門家です」と役柄を与えたのに、何があったかを推測で書いていました。役柄を与えても、足りない材料は埋まりません。施策の内容、数字の定義、判断の目的こそ、AIに渡す材料です。

AIのコツを売るウェブコンサルタントは、AIが賢くなるたびに要らなくなる

コツを知っているだけでは、事業で成果につなげることができるウェブコンサルタントの価値になりません。コツは検索すれば誰でも手に入り、クライアントも同じものを読めます。AIも常に進化していて、雑に頼んでも答えられる方向へ進んでいます。コツの価値は、AIの性能が上がるたびに目減りします。AI利用のコツで企業が仕事を依頼したいウェブコンサルタントになれる時代は永遠に来ません。誰でも簡単にできるようになるからです。

プロンプトのコツを集めても、事業の成果にはつながらない
プロンプトのコツを集めても、事業の成果にはつながらない

コツよりも、何を渡し、何を問うかを指示文に書くことが大事なのです。AIを作っているAnthropicも、公開している講座「AI Fluency」で、AIには目的と背景と制約条件を伝え、そのあとは対話をしながら詰めていくほうが効果的だと教えています。ただ、それを書けるかどうかは、マーケティングの技術と、事業とお客さまをどれだけ知っているかという「材料」で決まります。

この記事のワークは、書籍に掲載する予定です。

AIの答えを読み、足りない材料を足して、対話で詰めていく
AIの答えを読み、足りない材料を足して、対話で詰めていく

材料の質を上げるのも、AIではなく人です。どんなデータを集めれば、お客さまをもっと分かるのか。どの行動を数字にすれば、競合との差につながるのか。それを考えて決めることが、ウェブコンサルタントの仕事の出発点になります。

それでは、どんな材料でもAIに読み込ませていいのでしょうか? 有料の学習をしないAIなら問題は起きないのでしょうか? 次回はこの点について考えます。


この連載は、私が講師を務めるWACAマーケティングテクノロジスト講座の内容をもとにしています。

GA4の数字を見て、レポートを作って、それで終わっていませんか?
これからのマーケティングに必要なのは、データを「読む力」だけではありません。
データを集め、つなぎ、AIを活用して、次の施策につなげる力。
その一歩先のスキルを、マーケティングテクノロジスト認定講座で学びませんか?

「あなたは一流の専門家です」とAIに書いても、答えは良くなりません

この記事が気に入ったら
いいね または フォローしてね!

  • URLをコピーしました!

この記事を書いた人

WACA一般社団法人ウェブ解析士協会代表理事

2000年、株式会社環を創業、2016年株式会社 環 取締役会長退任。業界ではもっとも早い時期からアクセス解析に着目し、アクセス解析を軸にしたコンサルティングを行っている。
アクセス解析ASPサービス「アクセス刑事Pro」、「シビラ」を自社開発、運営、アクセス解析からエリアマーケティングを行う「エリアレポート」を提供している。
著書に「稼ぐホームページ損なホームページ―アクセス解析で一発判明!」「繁盛するWebの秘訣「ウェブ解析入門」
~Web担当者が知っておくべきKPIの活用と実践」がある。

目次