Google, yapay zekâ modellerinin gerçek Android geliştirme görevlerinde ne kadar başarılı olduğunu ölçmek için geliştirdiği benchmark sistemini Android Bench 2.0 ile önemli ölçüde yeniledi.
16 Eylül 2026 tarihinde duyurulan yeni sürümün en büyük farkı, AI coding modellerini artık yalnızca birkaç dosyalık küçük hata düzeltmeleriyle değil; gerçek bir Android geliştiricisinin günler boyunca uğraşabileceği kapsamlı yazılım mühendisliği görevleriyle test etmesi.
Google bu yeni görevleri long-horizon tasks olarak adlandırıyor.
Testlerde yapay zekâ modellerinden yalnızca birkaç satır Kotlin kodu yazmaları istenmiyor.
Bunun yerine modeller:
gibi çok daha kapsamlı görevlerle karşı karşıya bırakılıyor.
Sonuçlar ise AI coding konusunda oldukça dikkat çekici bir tablo ortaya çıkarıyor.
Eski Android Bench görevlerinde en güçlü modeller yaklaşık %90-91 pass rate seviyesine ulaşmıştı. Android Bench 2.0’ın yeni long-horizon görevlerinde ise duyuru anındaki en yüksek başarı oranı yaklaşık %28 seviyesinde kaldı.
Bu, yapay zekâ modellerinin gerilediği anlamına gelmiyor.
Tam tersine Google testleri çok daha zor ve gerçek yazılım geliştirme süreçlerine yakın hale getirdi.
Yeni benchmark artık yalnızca modelin kod üretip üretemediğini değil; büyük bir repository’yi anlayıp anlayamadığını, onlarca veya yüzlerce dosyada tutarlı değişiklik yapıp yapamadığını, uygulamayı gerçekten çalıştırıp çalıştıramadığını ve verilen görevi ne kadar eksiksiz tamamladığını ölçmeye çalışıyor.
Google’ın Android Bench 2.0 duyurusunda ayrıca GPT-6 Astra, Gemini, Codex ve Google Antigravity gibi model ve agent sistemlerinin performansları da değerlendiriliyor.
Burada önemli bir başka değişiklik daha var:
Artık yalnızca AI modeli değil, modeli gerçek geliştirme ortamına bağlayan coding agent sistemi de ölçülüyor.
Çünkü aynı yapay zekâ modeli; dosyaları okuyabilen, terminal komutları çalıştırabilen, testleri koşturabilen ve hatalardan sonra tekrar kod değiştirebilen iyi bir agent içerisinde çok farklı sonuç verebiliyor.
Peki Android Bench 2.0 nedir? Long-horizon task ne anlama geliyor? AI modelleri hangi Android görevlerinde başarılı oluyor? Hangi işlerde hâlâ ciddi biçimde zorlanıyor? GPT-6 Astra’nın yaklaşık %28’lik sonucu ne ifade ediyor ve Codex veya Google Antigravity gibi coding agent’lar gerçekten fark yaratıyor mu?
Google’ın resmi Android Developers duyurusu ve Android Bench 2.0 metodolojisi üzerinden ayrıntılı olarak inceleyelim.
Android Bench, yapay zekâ modellerinin gerçek Android geliştirme görevlerindeki yeteneğini ölçmek için Google tarafından geliştirilen model-bağımsız bir benchmark sistemidir.
Amaç yalnızca modelin Kotlin veya Java kodu yazıp yazamadığını kontrol etmek değil.
Android geliştirme sürecinin kendine özgü problemleri de test ediliyor.
Bunların arasında:
gibi gerçek Android geliştirme konuları bulunuyor.
Android Bench’in ilk sürümündeki görevler bugünkü AI coding modellerine kıyasla daha küçük kapsamlıydı.
Google’ın Android Bench 2.0 metodolojisine göre eski görevlerin önemli bölümü mevcut açık kaynak Android projelerindeki nispeten küçük değişikliklerden oluşuyordu.
Görevlerin tipik kapsamı yaklaşık:
seviyesindeydi.
Bu görevler küçük bug fix’leri veya sınırlı feature geliştirmelerini ölçmek için yeterliydi.
Ancak frontier AI modelleri geliştikçe testler doygunlaşmaya başladı.
En güçlü modeller eski görevlerde yaklaşık %90-91 pass rate seviyesine kadar ulaştı.
Bu seviyeye gelindiğinde modeller arasındaki gerçek mühendislik farkını ölçmek zorlaştı.
Google bu nedenle benchmark’ı çok daha karmaşık hale getirdi.
Android Bench 2.0, Google’ın yapay zekâ modellerini ve coding agent’ları daha büyük, daha uzun ve gerçek hayata daha yakın Android geliştirme görevlerinde değerlendirdiği yeni benchmark sürümüdür.
2.0 sürümünün en önemli yeniliği:
Long-Horizon Tasks.
Bu görevlerde modelden birkaç dakikada çözülebilecek küçük değişiklikler yerine gerçek bir Android geliştiricisinin günlerce üzerinde çalışabileceği projeler tamamlaması isteniyor.
Long-horizon task, çok sayıda dosyayı, birden fazla geliştirme adımını ve farklı mühendislik kararlarını kapsayan uzun süreli yazılım görevidir.
Örneğin:
long-horizon görev olarak değerlendirilebilir.
Burada model yalnızca kod üretmez.
Önce repository’yi anlaması, mevcut mimariyi analiz etmesi, doğru dosyalarda değişiklik yapması, testleri çalıştırması ve ortaya çıkan hataları yeniden çözmesi gerekir.
Android Bench 2.0’ın ilk long-horizon görev setinde toplam 30 görev bulunuyor.
Google bunları dört ana kategoriye ayırıyor:
| Kategori | Görev Sayısı | Ana Amaç |
|---|---|---|
| App Creation | 9 | Sıfırdan karmaşık Android uygulaması oluşturma |
| Migrations | 13 | Kütüphane ve mimari dönüşümleri |
| New Features | 6 | Mevcut projelere yeni özellik ekleme |
| App Conversions | 2 | Cross-platform uygulamaları native Android’e dönüştürme |
App Creation kategorisi Android Bench 2.0’ın en ilginç bölümlerinden biri.
Google burada Food Vibes isimli özel bir uygulama kullanıyor.
Bu uygulama açık kaynak repository’lerde veya internette bulunan hazır bir proje değil.
Modelden tasarım mockup’larını inceleyerek sıfırdan çalışan Android uygulaması oluşturması isteniyor.
Görevlerin kapsamı yaklaşık:
arasında değişebiliyor.
Bu, klasik benchmark’lardaki birkaç fonksiyon yazma testlerinden çok daha gerçekçi.
Agent’ın:
gibi birçok alanı aynı anda yönetmesi gerekiyor.
Android Bench 2.0 içerisinde en fazla görev migration kategorisinde bulunuyor.
Toplam 13 migration görevi var.
Google’ın verdiği örnekler arasında:
gibi gerçek Android projelerinde yapılabilecek dönüşümler bulunuyor.
Bazı migration görevleri:
ulaşabiliyor.
Bu ölçekte artık yalnızca kod tamamlama yeteneği değil, repository genelinde tutarlılık gerekiyor.
Google’ın Android Bench 2.0 çalışmalarındaki dikkat çekici bulgulardan biri, AI modellerinin iyi tanımlanmış deterministik dönüşümlerde oldukça başarılı olması.
Örneğin:
gibi görevlerde modellerin tutarlı sonuç verebildiği belirtiliyor.
Google, bazı dönüşümlerin 125’ten fazla dosya ve 8.000’den fazla satır kod üzerinde bile başarılı biçimde uygulanabildiğini söylüyor.
Bu, AI coding agent’ların özellikle tekrarlı ve kuralları net modernizasyon işlerinde ciddi zaman kazandırabileceğini gösteriyor.
Android Bench 2.0’ın en ilginç bulgularından biri şu:
Modeller genel olarak yeni kod oluşturmada mevcut karmaşık kodu refactor etmekten daha başarılı.
Bunun nedeni refactor işleminin yalnızca syntax değiştirmekten ibaret olmaması.
Modelin mevcut:
birlikte anlaması gerekiyor.
Yeni kod yazarken ise model daha temiz bir başlangıç noktasına sahip olabiliyor.
Google’ın paylaştığı gözlemlere göre AI coding modellerinin zorlandığı bazı alanlar açık şekilde görülüyor.
Kod compile olabilir ancak uygulama runtime sırasında hata verebilir.
Örneğin dependency injection graph eksikliği veya yanlış lifecycle kullanımı compile aşamasında fark edilmeyebilir.
Yeni framework sürümleri eski API davranışlarını değiştirebilir.
Model daha eski ve yaygın pattern’leri kullanmaya devam ettiğinde migration başarısız olabilir.
Modelin eğitim döneminden sonra çıkan veya henüz yaygınlaşmamış kütüphanelerde bilgi boşluğu oluşabilir.
Bu durumda doğru syntax veya API kullanımını tahmin etmeye çalışabilir.
Android Bench 2.0’ın en zor görevlerinden bazıları App Conversion kategorisinde bulunuyor.
Bu görevlerde Flutter veya React Native ile geliştirilmiş bir uygulamanın native Android ve Jetpack Compose kullanılarak yeniden oluşturulması isteniyor.
Burada yalnızca UI kodunu çevirmek yeterli değil.
Agent’ın:
yeniden tasarlaması gerekiyor.
Google’ın değerlendirmelerinde hiçbir model bu görevlerde yüzde 100 pass rate’e ulaşmış değil.
En güçlü sonuçlarda bile completion rate yaklaşık yüzde 80 seviyesine kadar çıkabiliyor.
Pass rate, bir modelin veya coding agent’ın verilen görevi tamamen başarıyla tamamlayabildiği çalıştırmaların oranıdır.
Bir görevin pass kabul edilmesi için:
gerekiyor.
Agent görevin yüzde 95’ini doğru tamamlamış olsa bile kritik bir test başarısız olursa run “pass” sayılmayabilir.
Android Bench 2.0 bu nedenle completion rate isimli ikinci bir metriği de kullanıyor.
Completion rate, görevin ne kadarının doğru tamamlandığını gösteren 0 ile 1 arasında sürekli bir skor.
Örneğin agent:
ise pass alamayabilir.
Completion rate ise agent’ın yaptığı gerçek ilerlemeyi gösterebilir.
Küçük kodlama görevlerinde pass veya fail oldukça açıklayıcı olabilir.
Ancak birkaç gün süren büyük bir geliştirme işinde durum farklı.
Görevin yüzde 95’ini tamamlayan agent ile hiçbir şey çalıştıramayan agent’ı aynı başarısızlık kategorisine koymak gerçek geliştirici verimliliğini tam olarak yansıtmaz.
Bu nedenle Android Bench 2.0:
gibi farklı ölçümleri birlikte değerlendiriyor.
Google’ın verdiği verilere göre frontier modeller eski Android Bench görevlerinde yaklaşık %90-91 pass rate seviyesine ulaşmıştı.
Bu nedenle benchmark modeller arasında yeterince fark oluşturamaz hale gelmişti.
Yeni long-horizon görevler eski testlerden çok daha zor.
Google’ın duyuru anındaki verilerine göre en yüksek long-horizon pass rate yaklaşık %28.
Bu oran ilk bakışta düşük görünebilir.
Ancak benchmark artık gerçek bir geliştiricinin günler boyunca üzerinde çalışabileceği görevleri ölçüyor.
Dolayısıyla eski %91 ile yeni %28 doğrudan aynı zorluk seviyesindeki testlerin karşılaştırması değil.
Google’ın duyuru anında paylaştığı long-horizon leaderboard sonuçlarında GPT-6 Astra yaklaşık %28 pass rate ile en üst sırada yer aldı.
Burada önemli bir ayrım yapmak gerekiyor.
Bu sonuç:
“GPT-6 Astra bütün kodlama görevlerinde kesin olarak en iyi modeldir.”
anlamına gelmiyor.
Bu yalnızca Android Bench 2.0’ın belirli görev seti, metodolojisi ve test edilen yapılandırmalarındaki performansı ifade ediyor.
Leaderboard yeni modeller ve agent sistemleri eklendikçe değişebilir.
Google yeni leaderboard’a farklı üreticilerden çok sayıda güncel model ekledi.
Bunların arasında:
gibi modeller bulunuyor.
Sonuçlar zaman içinde değişebileceği için güncel sıralamanın Android Bench leaderboard üzerinden kontrol edilmesi gerekiyor.
Android Bench 2.0’ın en önemli değişikliklerinden biri yalnızca temel LLM’lerin değil, coding agent sistemlerinin de değerlendirilmesi.
Çünkü çıplak model API’si ile gerçek coding agent aynı şey değil.
Bir coding agent:
Bu yetenekler gerçek yazılım geliştirme görevlerinde modelin performansını ciddi biçimde değiştirebilir.
Google agent değerlendirmesine örnek olarak GPT-5.6 Sol + Codex kombinasyonundan söz ediyor.
Burada ölçülen yalnızca temel model değil.
Codex’in modelin etrafında sağladığı:
gibi özellikler de gerçek sonuca etki ediyor.
Google aynı mantığı kendi modellerinde de kullanıyor.
Android Bench duyurusunda örnek verilen kombinasyonlardan biri Gemini 3.8 Flash + Google Antigravity.
Bu yaklaşım önemli bir noktayı gösteriyor:
Aynı temel model, farklı agent sistemleri içerisinde farklı performans gösterebilir.
Agent harness, yapay zekâ modelinin gerçek geliştirme ortamıyla nasıl çalışacağını belirleyen yazılım katmanıdır.
Modeli beyin olarak düşünürsek harness onun:
ile etkileşim kurmasını sağlar.
İyi tasarlanmış harness aynı modelden daha iyi sonuç alınmasını sağlayabilir.
Android Bench 2.0 duyurusunda Google agent mimarisinin yalnızca başarı oranını değil token kullanımını ve maliyeti de etkilediğine dikkat çekiyor.
Bunlardan biri prompt caching.
Agent’ın sürekli aynı büyük kod context’ini yeniden modele göndermesi yerine belirli bilgilerin cache edilmesi token kullanımını ciddi biçimde azaltabilir.
Özellikle büyük repository’lerde bu fark önemli hale geliyor.
Uzun agent görevlerinde yüzlerce terminal çıktısı ve tool sonucu oluşabilir.
Bütün bu çıktıları sürekli model context’inde tutmak maliyetli.
Compact tool windowing, modelin ihtiyaç duyduğu en ilgili tool geçmişini koruyup gereksiz eski çıktıları context’ten çıkarmayı amaçlıyor.
Bu nedenle coding agent’ın verimliliği yalnızca kullanılan modele bağlı değil.
Eski benchmark’ın önemli sınırlamalarından biri değerlendirmelerin büyük ölçüde headless çalışmasıydı.
Bir uygulamanın compile olması veya testlerin geçmesi, kullanıcı arayüzünün doğru olduğu anlamına gelmez.
Android Bench 2.0 bu nedenle multimodal UI verification kullanıyor.
Benchmark:
değerlendirebiliyor.
Android Bench 2.0 metodolojisinde görsel doğrulama için LLM tabanlı visual judge yaklaşımı kullanılıyor.
Bu sistem uygulamanın yalnızca çalışıp çalışmadığını değil, verilen tasarıma ne kadar uygun olduğunu da değerlendirmeye yardımcı oluyor.
Özellikle App Creation ve App Conversion görevlerinde bu önemli.
AI benchmark’larındaki önemli problemlerden biri contamination.
Eğer benchmark görevi veya doğru çözüm internette açık şekilde bulunuyorsa model bunu eğitim verisinde görmüş olabilir.
Bu durumda test gerçek mühendislik yeteneğini ölçmek yerine ezberi ölçebilir.
Google bu problemi azaltmak için farklı yöntemler kullanıyor.
Food Vibes gibi bazı projeler internette yayınlanmış açık kaynak uygulamalar değil.
Navigation 3, Coil 3 ve Ktor 3 gibi yeni teknoloji geçişleri kullanılıyor.
Bazı Flutter veya React Native uygulamalarının hazır native Android versiyonu bulunmuyor.
Agent’ın hardcoded çözüm üretme, dışarıdan hazır cevap arama veya benchmark’ı manipüle edecek davranışlarda bulunup bulunmadığı kontrol ediliyor.
Long-horizon dataset’in tamamı şu anda herkese açık şekilde yayınlanmıyor.
Google dataset’i özel tutuyor ve contamination oluşturmadan araştırmacılara nasıl erişim sağlayabileceğini değerlendiriyor.
Bu, benchmark’ın uzun vadede güvenilirliğini korumak açısından önemli.
Bir coding agent yüksek başarı elde edebilir.
Ancak aynı görevi çözmek için:
gerçek geliştirici açısından her zaman en iyi seçenek olmayabilir.
Bu nedenle Android Bench leaderboard artık:
gibi ölçümleri birlikte sunuyor.
Hayır.
Benchmark sonuçları model karşılaştırmak için değerli olsa da gerçek proje performansını birebir garanti etmez.
Gerçek uygulamalarda:
sonucu önemli ölçüde değiştirebilir.
Modern Compose projesinde çok iyi çalışan bir model, yıllardır büyüyen Java tabanlı bir legacy projede aynı sonucu vermeyebilir.
Gerçek yazılım geliştirmede AI’ın işi tamamen bitirmesi her zaman şart değil.
Bir agent üç günlük işin yüzde 80’ini doğru biçimde hazırlayıp geliştiriciye yalnızca kontrol ve son düzeltmeleri bırakıyorsa yine önemli bir üretkenlik artışı sağlayabilir.
Bu nedenle completion rate özellikle AI destekli geliştirme sürecini değerlendirmek için güçlü bir ölçüm.
Android Bench 2.0 sonuçları bu konuda oldukça dengeli bir tablo ortaya koyuyor.
AI modelleri:
oldukça güçlü hale gelmiş durumda.
Ancak:
hâlâ modellerin ciddi biçimde zorlandığı alanlar.
Android Bench 2.0 sonuçlarından çıkarılabilecek en önemli pratik derslerden biri AI’a doğru işi vermek.
Örneğin:
AI coding agent için uygun görevler olabilir.
Ancak kritik mimari kararlar ve runtime davranışları geliştirici tarafından mutlaka kontrol edilmeli.
Kesinlikle evet.
Android Bench 2.0’ın önemli mesajlarından biri compile olan kodun mutlaka doğru çalışan kod olmadığı.
Özellikle Android tarafında:
runtime sırasında problem çıkarabilir.
Bu nedenle AI-generated kod için:
hâlâ önemli.
Genel coding benchmark’ları çoğu zaman Python veya backend ağırlıklı küçük repository görevlerini test ediyor.
Android geliştirmenin ise kendine özgü bir ekosistemi var.
Örneğin:
genel yazılım benchmark’larında yeterince temsil edilmeyebilir.
Android Bench bu nedenle Android geliştiricileri için daha gerçekçi bir ölçüm sunuyor.
Android Bench 2.0 sonuçlarının bana göre en önemli mesajı “AI kod yazamıyor” veya “AI artık geliştiriciyi tamamen gereksiz hale getirdi” değil.
Gerçek tablo bu iki uç görüşün arasında.
AI coding modelleri küçük Android görevlerinde oldukça güçlü seviyeye ulaşmış durumda.
Bazı iyi tanımlanmış dönüşümlerde yüzlerce dosya ve binlerce satır kod üzerinde tutarlı değişiklikler yapabiliyorlar.
Ancak görev büyüdükçe yazılım mühendisliğinin asıl zorluğu daha görünür hale geliyor:
Kodu yazmak değil, bütün sistemi doğru anlamak.
Bir framework migration’ı sırasında birkaç API çağrısını değiştirmek kolay olabilir.
Ancak bu değişikliğin navigation, dependency injection, state management, testler ve runtime davranışı üzerindeki etkilerini birlikte yönetmek çok daha zor.
Android Bench 2.0’ın yaklaşık %28’lik en yüksek long-horizon pass rate sonucu da bunu açık biçimde gösteriyor.
AI agent’lar henüz bir haftalık Android geliştirme işini tek prompt ile kusursuz biçimde tamamlayan bir seviyede değil.
Fakat aynı işin önemli bir bölümünü hazırlayabiliyor, tekrarlayan görevleri otomatikleştirebiliyor ve geliştiricinin başlangıç noktasını ciddi biçimde ileri taşıyabiliyor.
Codex veya Google Antigravity gibi agent sistemleri de burada giderek daha önemli hale geliyor.
Çünkü gelecekte rekabet yalnızca:
“Hangi model en iyi kodu yazıyor?”
sorusuyla sınırlı olmayacak.
Asıl soru giderek:
“Hangi model + agent kombinasyonu repository’yi doğru anlayıp, testleri çalıştırıp, hatalarını düzelterek gerçek görevi en düşük maliyetle tamamlayabiliyor?”
şeklinde olacak.
Android Bench 2.0 bu değişimi Android ekosistemi içerisinde ölçmeye başlayan önemli benchmark’lardan biri.
Geliştiricinin rolü ortadan kalkmıyor; ancak geliştiricinin hangi işi kendisinin yaptığı ve hangi işi AI agent’a devrettiği hızla değişiyor.
Android Bench 2.0, yapay zekâ modelleri ve coding agent’ların gerçekçi ve uzun süreli Android geliştirme görevlerindeki performansını değerlendiren Google benchmark sisteminin yeni sürümüdür.
Google Android Bench 2.0’ın long-horizon görevlerini Eylül 2026’da duyurdu.
Bir geliştiricinin birkaç gün veya daha uzun sürede tamamlayabileceği, çok sayıda dosya ve mühendislik kararı gerektiren kapsamlı yazılım geliştirme görevidir.
İlk long-horizon görev setinde toplam 30 görev bulunuyor.
App Creation, Migrations, New Features ve App Conversions olmak üzere dört temel kategori bulunuyor.
Google’ın duyuru anındaki long-horizon sonuçlarında en yüksek pass rate yaklaşık yüzde 28 seviyesinde.
Frontier modeller önceki küçük görevlerde yaklaşık yüzde 90-91 pass rate seviyesine ulaşmıştı.
Google’ın duyuru anındaki long-horizon leaderboard bilgisinde GPT-6 Astra yaklaşık yüzde 28 pass rate ile üst sırada bulunuyordu. Bu yalnızca ilgili benchmark ve test koşulları için geçerli bir ölçümdür.
Pass rate görevin tamamen başarıyla tamamlanıp tamamlanmadığını ölçerken completion rate görevin ne kadarının doğru tamamlandığını gösterir.
Google’ın Android Bench 2.0 gözlemlerine göre modeller genel olarak yeni kod oluşturmada karmaşık refactor ve migration görevlerinden daha başarılı.
Evet. Google iyi tanımlanmış Java → Kotlin gibi dönüşümlerde modellerin oldukça tutarlı çalışabildiğini belirtiyor.
Evet. Android Bench 2.0 yalnızca temel modelleri değil, Codex ve Google Antigravity gibi coding agent sistemlerini de değerlendirmeye başladı.
Hayır. Benchmark belirli Android görevleri ve test koşulları altında karşılaştırma sağlar. Gerçek projelerde kod tabanı, framework’ler, agent araçları, maliyet ve ekip çalışma şekli sonuçları değiştirebilir.
Sesli yapay zekâ kullanmak artık şaşırtıcı bir özellik değil. Telefonlarımızdaki asistanlarla konuşabiliyor, yapay zekâ uygulamalarına…
Google Gemini Artık Eşyaların Yerini Hatırlıyor: Find Hub Remembered Nedir? “Pasaportumu nereye koymuştum?”, “Yedek anahtar…
Yeni bir Windows bilgisayar aldığınızda gerçekten kod yazmaya başlamanız ne kadar sürüyor? Visual Studio Code…
1901 yılında Çemişgezek’te doğan bir kız çocuğunun, yıllar sonra Amerika’ya ulaşacağını, hayatını kitaplaştıracağını ve Hollywood’da…
Despacito ne demek sorusu, 2017 yılından bu yana milyonları merak ettiren bir sorudur. Luis Fonsi'nin…
Uzun tunik, tesettür modası için vazgeçilmez bir parça olarak günümüzde birçok kadının gardırobunda yer almaktadır.…