Verandert een AI-zoekmachine zomaar, en wat betekent dat voor mijn cijfers?

Op welke modelversies wordt er vandaag gemeten?

Hieronder, per engine, met de terugval erbij. Die tweede kolom is er omdat een aanbieder een versienummer niet alleen vervangt maar soms ook onbereikbaar maakt: dan geeft de aanroep een foutmelding en meet je niets meer, wat er in een grafiek uitziet als een score van nul.

Eén engine in die tabel heeft geen terugval, en dat staat er als zodanig. Een lege cel zou lezen als "niet van toepassing"; het is een risico dat je hoort te kennen voor je een reeks op die engine start.

Wat gebeurt er met mijn reeks als een model uitgezet wordt?

Hij stopt en er begint een nieuwe, en dat wordt gemeld in plaats van doorgemeten. De verleiding om gewoon door te gaan is groot, want de grafiek ziet er dan doorlopend uit — en precies daarom is het de gevaarlijkste van de twee: een doorlopende lijn over twee verschillende modellen ziet eruit als een trend en is er geen.

Waarom merkt niemand dat zoiets gebeurd is?

Omdat er geen foutmelding komt. Een vervangen model antwoordt gewoon, alleen net iets anders: andere bronnen, een andere volgorde, een ander aantal namen in de opsomming. Dat is dezelfde soort fout als geldige structured data die het verkeerde zegt — alles werkt, en de uitkomst klopt niet.

Kan ik dit zelf in de gaten houden zonder tool?

Deels, en het is de moeite. Schrijf per meting op welke vraag je stelde, op welke dag en in welke assistent, en bewaar het antwoord zelf en niet je samenvatting ervan. Dat is met de hand precies wat een reeks doet, en het is genoeg om te zien of een verschuiving van jou komt of van hen.

Wat je met de hand niet doet is het volhouden over vier engines, in twee talen, elke week. Daar zit het verschil, en niet in het idee.

Veelgestelde vragen

Verder lezen