ループは決して終わらない

ライブで体感するStraiveXサイクル

アナンドはその日の講義を当日の予定から始めるのではなく、受講生たちがこの1週間過ごしてきた日々に「名前」をつけることから始めた。「私が皆さんにお見せしてきたプロセスは、私たちがStraiveでプロダクトを開発する際に実践している『StraiveXメソドロジー』とほぼ同等のものです」。彼によれば、従来の5つのフェーズは静かに5つの新たなフェーズへと置き換わったという。それは目的が変わったからではなく、各フェーズにかかる時間をAIが劇的に圧縮してしまったからだ。

このサイクルに終わりはない。「進化させたバージョンができたら、そのデータを使って新たなプロダクトが必要とされているかを感知し……また最初から反復をやり直すことができます。プロダクト開発とは、1回のサイクルで終わるようなものではなく、回し続けなければならないものなのです」。AIによって高速化され、そして——アナンドは言葉を選びながら言い添えた——「また、おそらく以前より簡単になっているとも言えます……たぶん。勝手が違うので戸惑うこともありますが、結果として現在のプロダクト開発のサイクルをはるかに容易なものにしてくれます」。

アセット、スキル、そしてフック

アナンドの次の一手は、このループを単なる繰り返しではなく「複利で進化するもの」たらしめている要素に名前を与えることだった。「副産物として生み出されるものの一つ、それがアセットです。私たちはある作業を行い、その作業から何かを学び、それを次回再利用したり、あるいは他の誰かが次回再利用できるようにしたりします」。誰もが見過ごしていた目の前に、2つのアセット候補が転がっていた。全員のチャットログと、全員のセッションの文字起こし記録だ。

「皆さんがプロンプトを入力していたセッションログを取り上げてみましょう。そこから全員で学び合い、それらのセッションログを活用するためのベストプラクティスがあるかどうかを見つけ出すことができるはずです」

— アナンド

この概念を具体化するために、彼は2種類の再利用可能なアセットの間に境界線を引いた。「リクエストされ、通常は守られるもの」と、「強制され、常に守られるもの」の2つだ。

そして彼は、クラス自身の素材を「粗鉱石」として使い、即座にライブで演習へと仕立て上げた。受講生全員のチャット履歴そのものが、マイニング可能なデータセットであるという即興の実演だ。「うまく機能したプロンプティングのパターンは何だったか？ あまりうまくいかなかったパターンは何だったか？ メタプロンプトとして使えるような、最も優先度の高い教訓トップ5を抽出してみてほしいのです」。最も重要だった指示はこれだ。「エージェントがすでに知っているようなことや、人間がとっくに分かっているようなことは含めないでください。この経験ならではの、普通とは違う意外な洞察を入れてください」。

全員のチャットから生まれたメタプロンプト

バックグラウンドで分析が実行される間——一部のチャットログがきれいにダウンロードされずアナンドのブラウザ上で開いていたため、受講生たちの素材に対してローカルファイルやブラウザタブ経由でアクセスしながら——彼は分析内容だけでなくその進行プロセスも実況した。「何かおかしいな、クリックできないぞ……なるほど、チャットログがまだ生成されておらず、ダウンロード中か……よし、これは手動でやろう」。そして出力された結果こそ、このセッション全体で最も汎用性の高い成果物となった。今後のあらゆるプロジェクトの冒頭に誰もがそのまま貼り付けて使える、「5つのルールからなるプロンプト」である。

やり取りの全文を読む：プロンプトからの学び 元のチャットを開く ↗

「私が提案する解決策を、仕様ではなく「仮説」として扱え。 これは、最も重要なプロンプトの提案の一つかもしれません。私たちは何気なく要求をするとき、うまく言語化できていないことが非常に多いのです……自分の真のニーズの『たたき台』だと捉えてほしい。Xを要求したとしても、それに近いYを返してくれて構わない。ただし、いい仕事をしてくれ、ということです」

— アナンド、最も評価の高かった教訓を声に出して読み上げながら

彼はそれを、自分自身が最も多用している習慣が形式化されたものだと即座に見抜いた。「私には『質問のリフレーミング（reframe question）』というスキルがあります。そして例外なく、ほぼすべてのプロンプトにまさにこれを入れているのです」。これは実際に公開されているスキル——reframe-question——のことであり、アナンドが説明した通りの挙動をする。すなわち、文字通りの要求を真のニーズのたたき台として扱い、文字通り入力された質問ではなく、その底にある「より優れた本質的な問い」に答えるのだ。残る4つの教訓も、受講生たち自身の納得と反省を呼び起こした。

ある受講生が当然の疑問を口にした。これらの教訓は普遍的なものなのか、それとも特定のモデルに特有のものなのか？ アナンドの答えは、安易な普遍化を退けつつも、極めて示唆に富む着地点を示した。

「あらゆるプロンプトの提案には賞味期限があります。その特定のコンテキストにおいてのみ意味を持つものです……手短に言えば『テストしてみてくれ』ということです。私にも分かりませんし、普遍的な正解などありません……ですが私の経験から手短に答えるなら、プロンプティングのコツは大体どのモデルでも共通しています。それらはモデルがどう応答するかというより、私たちがどうプロンプトを出すかによる部分が大きいからです。つまり、モデルのミスやフレームワークのミスを防ぐというより、人間のミスを防ぐためのものなのです」

— アナンド

とはいえ、彼はエージェントにその傾向の違いを検証させてみた。そして暫定的ながらも興味深い回答が得られた。「失敗をエンドツーエンドでトレースすること」と「最もリスクの高い仮説を真っ先に検証すること」の2つは、ChatGPTよりもClaude Codeを用いたセッションでより顕著に現れていたのだ。おそらく、Claude Codeがファイル、シェル、ブラウザへのアクセス権を持っているため、「失敗を計測・特定して修正する」ワークフローが異例なほど効果を発揮するからだろう。もっとも、アナンドは断定を避けて慎重に補足した。「これが、Claudeを使う人がそうプロンプトを出す傾向にあるからなのか、Claude自身がそうしたミスをしがちだからなのかは分かりません。今ここで結論を出すべきではないでしょう」。

AIが自ら書く評価ルーブリック

続いてアナンドは、まったく同じ手法をこの講義そのものに向けた。「さて、次に進めるのは、この演習で私たちがどれだけうまくやれたかを確認することです。実質的には、この講義の評価の部分ですね。そして皆さんにも、その評価基準に対して発言権があります」。彼はエージェントに対し、あらかじめ知る由もないルーブリック（評価基準）を提案させるために必要なすべての情報を流し込んだ。毎日の文字起こし記録、全受講生の提出物、事前のヒアリングシート、そして極めて重要な要素として、彼自身が過去に「AI時代において何が重要か」について交わしてきた膨大な会話ログである。

「私はChatGPTやClaudeなどと数え切れないほどの対話をし、それをローカルに保存してきました。AIやエージェントがこれほど強力になった時代に人間が何を学ぶべきかについて、私なりの持論があります……私はエージェントに『すべての情報、すべての提出物を取得し、評価基準を特定せよ』と指示しました。どうなるかは分かりません。私にも視点があるし、エージェントにも視点があるでしょう。しかし、エージェントが利用できる情報量は、私がその場の思いつきで考え出せるものを間違いなく超えています」

— アナンド

出力されたのは7つの評価基準だった。彼はそれを一つひとつ読み上げた。「優れた課題の選定」「自明ではないものをリリースできたか」「リアルユーザーによる証拠と、証拠に基づいた反復」「検証可能で信頼できる成果物」「AIを使いこなし、失敗から学んでいるか」「説明責任と現実世界の判断力」、そして「コミュニケーション」。「この2つ——『証拠』と『検証』——がおそらく最も重要な基準です」。この出力はevaluation-prompt-original.mdとなり、この7つの基準という構造は、その後のあらゆる改定を経ても維持されることになった。

実際のドキュメントを読む——初版のルーブリック、改訂版、および各変更の背後にある根拠（配点は終始 15/10/20/20/15/10/10 のまま変更なし）：

初版：evaluation-prompt-original.md 現行版：evaluation-prompt.md 改訂履歴ノート

自分の評価基準をハックせよ

アナンドは単に完成したルーブリックを受講生に言い渡すのではなく、その場で——講義の真っ最中に、開発の過程を実況しながら——受講生全員がそのルーブリックに異議を唱えられる小さなアプリを構築した。「これから作るのは、すべてのフィードバックを受け取り、『このフィードバックは採用すべきだ』『この部分は採用しない』といった返答を返してくれるアプリケーションです」。教室の前方から、ほぼそのままエージェントに与えられた要件指示は次の通りだ。

「アップロードした評価プロンプトに対する変更提案を受講生が提出できるアプリケーションを作成してほしい。受講生がテキストフィールドに好きなだけ詳細を入力して保存できるようにすること。各自が自分の回答を編集でき、複数のフィードバックを提出できるようにすること。可能であれば、そのフィードバック全体または評価プロセスの変更を一部または全部取り入れることが、どれほど適切か、あるいは有用かについての見解も提示してほしい」

— アナンド、要件をその場でリアルタイムに指示しながら

アプリがリリースされる前に、受講生のヨハンが計画の不備を指摘した。成果物がメール、動画、そして今度のアプリへとあちこちに散らばり、一元管理できる場所がなかったのだ。「チャットの文字起こし以外の成果物は、すべてメールで送るのですか？」。アナンド：「あ、いや、鋭い指摘ですね。同じシートに全部追加しましょう。それは実に素晴らしいアイデアです」。彼はその場で共有スプレッドシートの構造を即座に作り直した。まさにこの講義が1週間を通じて体現してきた、「問題に気づいたらその場ですぐにプロセスを修正する」という習慣の実践だった。

アプリのビルド中、アナンドはクラスの目の前で、付属のチャット機能を使って小さなセルフテストを試みた。根拠の乏しい意見に対してどう振る舞うかを確かめるため、わざと曖昧な不満を投げかけてみたのだ。「これは学生が理解するには複雑すぎませんか？ もっとシンプルな評価の仕組みやルーブリックにはできませんか？」。返ってきたのは、迎合するのではなく毅然と押し返す回答だった。

「『懸念は重要かもしれませんが、具体的なスコアリングやルーブリックの変更点が明確ではありません』。つまりアプリは私にこう言っているわけです。『いいかいアナンド、そう変えたいのは分かったけれど、具体的に何を提案しているんだい？』と。それが明確でない。そして確かに、私はプロンプトが良くないと言えるだけの証拠を何も提示していません……極めてまっとうなフィードバックです。もし私がもっと深く考えていたなら、きちんと根拠を持って変更を求めていたでしょうね」

— アナンド、自作アプリからの手厳しい反論に反応して

そして、彼は茶目っ気たっぷりに受講生たちをけしかけた。「自分たちにできるだけ高い点数がつくような評価基準になるよう試してみてください。遠慮はいりません、ハックしてください」。教室は10分間の休憩に入り、その間、このツール——SUTD Evaluation Prompt Lab——は、自分たちを採点するルーブリックそのものをどう変更すべきかという受講生たちのライブな意見を次々と受け止めた。

受講生が実際に提案した内容と、変更の理由を読む：生のフィードバック（CSV） 改訂履歴ノート全文

※このページには、ルーブリックによって算出された実際のスコア、順位、各受講生の評価結果などは意図的に掲載しておらず、ルーブリック自体がどのように構築され改定されたかのみを記録している。

合成ユーザー vs リアルな人間ユーザー

ふとした思いつきのように、アナンドはある希少なものがクラス内に偶然蓄積されていることに気づいた。「ペアデータ（対となるデータ）」である。受講生全員が自らのアプリに対してAIペルソナによる調査を行い、さらにその後、同じアプリに対して生身の人間からのフィードバックを収集していたのだ。「皆さんはエージェントを使ってプロダクトをチェックしました。また、人間を使ってプロダクトをチェックしました。この両者の違いは何だったでしょうか？ これは非常に強力で、興味深い学びです」。

彼はエージェントに対し、存在しない結果をでっち上げないよう厳格に指示した上で、両者を直接比較させた。「具体的に、それらの違いの例を挙げてください……そして、再利用可能な教訓となるように一般化を試みてください」。6つのプロダクトにわたって事例ごとにコード化された詳細な比較を読む：その他のアセット — チャット全文

この日のために描かれた漫画も、まったく同じ対比を1コマで表現している。生身の人間ユーザーは人間的な問題——分かりにくいUX、曖昧な文言、信頼性——を捉えるのに対し、合成AIユーザーは技術的な問題——網羅されていないフロー、遅いレスポンス、見落とされたエッジケース——を捉える。どちらか一方が他方を置き換えるものではない。漫画のコマにある言葉を借りれば、「組み合わせることで、より強いプロダクトになる」のだ。

クラス全員が学んだこと

並行してアナンドは、全員の「学びの振り返り動画」に対しても同様の手法を適用した。9本の動画が文字起こしされ、エージェントによって読み込まれ、教訓の出現頻度と重要度によって順位付けされた。「これらに目を通し、影響度が大きく出現頻度の高いトップの学びを特定してほしい」。ランク付けされた完全な分析を読む：受講生の学び — チャット全文

1. AIは実行の大部分を担うことができるが、ボトルネックとなるのは人間の判断力である。 「フィードバックを共有してくれた9人のうち約7〜8人がこれに言及していました……間違いなく、これが最も重要な教訓です」
2. AIはソフトウェア構築のハードルを劇的に下げる。 「変化の本質は『自分にこれが実装できるか？』ではなく、『AIに何をすべきか指示できるか？ 出力を見て、それを検証し、改善できるか？』にシフトしたことです」
3. 明確な目的と具体的な指示は、曖昧なプロンプティングに勝る ——ただし、あえて逆の教訓も付け加えられた。「私が非常に曖昧なプロンプトを出しているのを見てきたはずです……反対側の教訓も忘れないでください。ループを回し、何度も修正を重ねるその試行錯誤のプロセスそのものが、学ぶ価値のある何かを教えてくれているかもしれないのです。無理に具体性を強要しないでください。それがかえって間違った方向へと導いてしまうこともあります」
4. 現実世界の制約は、単に回避するのではなく、プロダクト自体を変化させるべきである。 「APIのコスト、モデルの制限、デプロイの制約、不安定なGPS、セキュリティ、納期……何が可能で何が不可能なのかを最初から把握しておかなければ、事態はますます困難になります」。これはシーン3の教訓2「最もリスクの高い仮説を真っ先に検証せよ」に直結している。
5. 生身のユーザーは、AIや開発者には見えない問題を暴き出す。 「混乱を招くUI、意味不明なボタン、感情的な反応——これらこそ人間が気づき、AIには気づけない典型的な問題です。AI自身は混乱することがなく、この手のものを理屈として理解してしまうからです」

アナンドはこの演習の本質を「二重に行われた事後検証（ポストモーテム）」と定義した。そしてその2層目こそが新しいものだった。「ここから2つの次元のポストモーテムが浮かび上がってきました。1つ目：エージェントがポストモーテムを実行し、私たちが何をすべきかを教えてくれること。2つ目：エージェントは、私たちがどのようなポストモーテムを行うべきかまで教えてくれるということです……『ポストモーテムを行いたい、再利用可能なアセットが欲しいのだ』と指示を出す仕様設計能力——それこそが皆さんに残るスキルであり、皆さん全員が教訓として学んだことそのものなのです」

統合された分析結果の中からアナンドが声に出して読み上げた一文は、この講義全体のメインテーマと呼ぶにふさわしいものだった。「AIはものづくりのコストを劇的に下げた。その結果、目的意識、判断力、コミュニケーション、テスト、ユーザー観察、そして方向転換を恐れない姿勢が、かつてないほど重要になった」

受講生7名によるプロダクト発表

休憩の後、教室はプレゼンテーションの舞台へと変わった。「最後に、皆さんに前に出てきてもらい、開発したアプリケーションを発表してもらいます」。受講生7名、持ち時間は各5分以内、使用言語は自由——何人かはデモの途中で日本語に切り替え、翻訳ツールに残りを委ねた。アナンドが聴衆である受講生たちに伝えた言葉は、デモそのものと同じくらい重要だった。「発表を聞くときは、アプリケーションの機能だけでなく、それを構築するに至ったプロセスにも意識を向けてください」。

Study Walkerは、「目標はあるけれど、何から手をつければいいか分からない」という人が、今日できる小さく具体的なアクションを1つ踏み出すのを手助けするアプリだ。ユリは「英語は苦手」と言いながらもほぼ全編英語でプレゼンを行い、実際のフローを披露した。目標を入力し（「ゲーム制作を……始めたい」）、現在の出発点を選び、使える時間を選び、今手元にあるリソースを選ぶ——するとアプリが、完全な初心者が検索すべきドンピシャの検索キーワードとともに、次に取るべきたった1つの具体的なアクションを提示してくれる。彼女いわく、「初心者だと、その行動を始めるための方法すら分からないから」だ。

「機能的には、それほど複雑なアプリケーションではありません。しかし、その実行スピードは今や劇的に圧縮されています。ユリはこれをたった1日で作り上げました……実際、私にとっても非常に役立つものでした。試してみたところ、Rust言語の初歩を学ぶことができたのです。ずっとやりたいと思いながら、ほぼ2年間先延ばしにしていたことでした」

— アナンド

なお、Study Walkerは、一晩で行われた合成ユーザー調査が、その後の実際のテスターがつまずいたポイントを最も正確に予見していたアプリでもあった（シーン6参照）。

Shot Atlasは、シュートが放たれた位置とゴールが決まる確率の相関関係をマッピングするツールだ。オープンプレー、セットプレー、PKで絞り込みができ、前半・後半での比較も可能。この黒いバーはシュートの位置からゴールまでを表します——「この黒いバーはシュートの位置からゴールまでを表します」とコウセイは説明した。ドットの大きさと色でゴールの確率が視覚化されており、赤が高い確率、黄色が低い確率を示している。

「アプリケーション内でエビデンスが直接提示されており、それ自体がデータドリブンであるため、検証が極めて容易です。『なぜこのアプリを信頼できるのか？』と問う必要はなく、クリックして自分の目で数値を確認するだけで済みます……一方で、データを提示することは出発点に過ぎません。次のステップは『これをどう意思決定に活かすか？ それは本当に機能するのか？』という問いになります。そこから、このアプリがまだ答えを出せていない一連の新たな問いが生まれてくるのです——そして、それでいいのです」

— アナンド

Roamは、旅行者が旅の途中で写真を使って素早く旅程を記録できるアプリだ。ミクは教室で英語を話すことに緊張しながらも、「旅を始める」、名前を「SUTD」、目的地を「シンガポール」と設定し、旅の記録を入力するというライブデモを実演した。この発表で注目すべきはデモそのものではなく、その背後にある「作り直しのプロセス」だった。

「最初のイテレーションは、少し毛色の違うアプリでした。GPSの座標を使って現在地を特定し、思い出を記録しようとしていたのです。しかし何度か試作を繰り返す中で、ミクは技術的な問題でそれがうまく機能しないことに気づきました。そこで彼女は方向転換し、『代わりに写真や思い出を中心にしたアプリを作ろう』と決断したのです。ある方向を目指して進んでも、うまくいかないことはあります。それでいいのです、ピボットすればいい。AIのおかげで作成コストが劇的に下がったため、新しいものを作るのも簡単ですし、古いものを投げ捨てるのも簡単なのです」

— アナンド

ナナミは日本語でプレゼンを行い、リアルタイム翻訳で伝えた。「私は東京周辺の、関東エリアという場所の釣り場についてのサイトを作りました」。父親が無類の釣り好きで、父や他の初心者が実際に使えるものを作りたいと思ったのがきっかけだった。場所や狙う魚からの検索、初心者向けガイド、釣果ログ、父親の助言で追加した周辺の釣具店情報、そして初心者である彼女自身が魚を見分ける練習をするためのゲーム機能などが備わっている。

「ナナミがこれを何人かに共有してフィードバックをもらった際、『いや、この情報は間違っているよ』という指摘が含まれていました。詳しく調べてみると、AIが生成した事実ではない情報だったことが分かったのです。それを受けてナナミはアプリを改修し、エビデンス（根拠）を明示するようにしました。『この情報は◯月◯日に取得されたもので、一次情報へのリンクはこちら』といった具合です。何が正しく、情報源がどれほど検証可能であるかを確実に把握すること——それは開発プロセスにおいて極めて重要です」

— アナンド

Jurnal Lentera Bursaは、インドネシアの株式トレーダー向けに作られたインドネシア語のサイトだ。銘柄や購入ロット数を記録するとリアルタイムで損益が更新され、さらに他にはない特徴として、証券会社が取引や利益から実際にどれほどの手数料を差し引いているかを可視化できる。各ユーザーのデータは保護された個人アカウントに紐づけられており、管理者画面（ヨハン用）では個人の取引データを覗き見ることなく、誰がログインし、どのくらいの時間、どんな操作をしたかという集計利用状況を把握できる。

「最後の部分が、私にとってはおそらく最も興味深い点でした。個々のユーザーにとって役立つアプリケーションであるだけでなく、あるユーザーが他者の利用から恩恵を受けられるプラットフォームへと進化する可能性を秘めているからです。ヨハンは誰が何をしているか、うまく使いこなせているかどうかの情報を得られるため、中央集権的にも、集約された情報を通じても、アプリをより強力に進化させることができます……これは、他者の利用に基づいてアプリが自律的に改善していく未来への第一歩です」

— アナンド

ミオは日本語でプレゼンを行い、リアルタイム翻訳で解説した。自身が集めている書籍やマンガのコレクションを整理するために開発したアプリだ。ガイド付きのオンボーディング、好きなジャンルや著者を設定できるプロフィール、検索やスマホでのバーコードスキャンによる本の追加、ジャンルに基づく自動おすすめ、既読／未読・判型・お気に入りでのフィルタリング、そして彼女自身が最もこだわった「まるで本物の本棚のように」背表紙が並び、まだ持っていない本まで並べられる背表紙ビュー表示などを備えている。

「このアプリで面白かったのは、やはりテスターからのフィードバックでした。ある人は使い方が理解できず、別の人は小説を追加しようとして複数の版や複数のジャンルが存在することに悪戦苦闘していました。しかし最後には『この機能、すごくいいね』と言ってくれたのです。また別の人は『でも待って、この機能ってAmazonにすでにない？』と言いました。私はこのフィードバックに対するミオの振り返りが非常に気に入っています。多くの場合、指示を出すこと（何をすべきかAIに伝えること）こそが難しい。実際に作ること自体は難しくないのだと」

— アナンド

クリストファーのアプリは、初めて起業するファウンダー向けの質疑応答ピッチ練習シミュレーターだ。スライドや会社情報をアップロードすると、実際のピッチ内容に即した質問をAIが生成する。本番さながらのプレッシャーを再現するカウントダウンタイマーが作動し、投資家目線の7つの質問に対してマイクまたはテキストで回答していく。終了後には項目ごとのスコア、良かった点と最大の欠点の分析、そして対話の文字起こし記録をPDFとして保存できる。

「最初のバージョンでは、AIが1問ごとにフィードバックを返していました。クリストファーは『待てよ、実際のVCとの面談はそんな風には進まない。スライド1枚ごとにフィードバックをくれるわけではなく、最後まで待つはずだ』と気づいたのです。これこそが、その領域に対する自身の知識や実体験が活きる瞬間です。そうした知見が注ぎ込まれたとき、プロセス全体の質が一段引き上げられるのです」

— アナンド

すべてを委任せよ。そして何が残るかを見届けよ。

残り時間がわずかとなる中、アナンドはまとめのスライドを見せる代わりに、わずか3文節でこの1週間を締めくくった。

「皆さんがすでに身をもって学び、共有された教訓からも明らかなのは、AIが『実行』を極めて快適に肩代わりできるということです。残るのは、皆さんの判断力です。何を指示すべきか、いかに伝えるべきか、いかに検証するか、いかにプロセスから学び続けて次回をより高速に反復できるようにするか。」

— アナンド

そして、講義終了後の宿題として、あえて明確な答えを定めず、教室の枠を越えた課題が1つだけ出された。

「皆さんに実践してみてほしいことが1つだけあります。できる限り、あらゆることをAIに委任してみてください。そして、AIに『できない』ことは何かを見極めてください。それを学ぶことに集中してください。それこそが、これからより重要になるスキルです」

— アナンド、講義の結びとして