Jagosatu.com - OpenAI baru saja meluncurkan model terbaru mereka, o3-mini, yang menghadirkan berbagai perbaikan dalam performa dan harga. Namun, pertanyaan yang muncul di benak banyak pengguna adalah, apakah o3-mini lebih baik dari DeepSeek-R1 yang sudah ada sebelumnya?
LiveBench Global Average menunjukkan bahwa o3-mini unggul tipis dengan skor 73.94, dibandingkan dengan 71.38 yang diraih oleh DeepSeek-R1. Meski selisihnya tidak terlalu besar, hasil ini menunjukkan bahwa o3-mini cenderung lebih efisien dalam berbagai tugas.
Namun, saat membandingkan kemampuan reasoning, o3-mini benar-benar menunjukkan keunggulannya dengan skor 89.58 berbanding 83.17 milik DeepSeek-R1. Ini berarti o3-mini lebih cerdas dalam memahami, menganalisis, dan menarik kesimpulan.
Beralih ke coding, o3-mini mencatatkan skor 82.74, jauh di atas skor 66.74 yang didapatkan oleh DeepSeek-R1. Ini menandakan bahwa o3-mini lebih mahir dalam memahami konsep pemrograman dan menyelesaikan masalah kode.
Namun, tidak semua tugas menjadi milik o3-mini. Dalam kategori mathematics, DeepSeek-R1 unggul dengan skor 79.54, lebih tinggi dari 65.65 yang didapatkan oleh o3-mini. Ini menunjukkan bahwa DeepSeek-R1 lebih kuat dalam pemecahan masalah matematika dan logika numerik.
Dalam analisis data, o3-mini juga mengungguli DeepSeek-R1, meski hanya dengan sedikit margin (70.64 berbanding 69.78). Keunggulan o3-mini berlanjut pada kategori bahasa dengan skor 50.68, sementara DeepSeek-R1 mencatatkan 48.53.
Yang menarik, o3-mini menunjukkan kemampuan lebih baik dalam memecahkan teka-teki NYT Connections dengan skor 72.4, jauh meninggalkan DeepSeek-R1 yang hanya memperoleh 54.4. Keunggulan ini memperlihatkan bahwa o3-mini sangat efektif dalam menyelesaikan tugas-tugas berbasis logika dan asosiasi.
Dari segi akurasi (Humanity’s Last Exam), o3-mini juga unggul dengan akurasi 13.0%, dibandingkan dengan 9.4% milik DeepSeek-R1, menegaskan bahwa o3-mini lebih akurat dalam memberikan jawaban yang benar.
Namun, DeepSeek-R1 masih memiliki kelebihan dalam hal kalibrasi error, dengan hanya mencatatkan 81.8% dibandingkan dengan 93.2% dari o3-mini. Ini menunjukkan bahwa DeepSeek-R1 lebih dapat diandalkan dalam hal kesesuaian antara tingkat keyakinan dan kebenaran prediksinya.
Perbandingan Biaya dan Open-Source
Jika berbicara tentang harga, DeepSeek-R1 lebih murah. Dengan biaya $0.14 per juta token input dan $2.19 per juta token output, DeepSeek-R1 menawarkan solusi yang lebih terjangkau. Sementara itu, o3-mini dibanderol $0.55 per juta token input dan $4.40 per juta token output, menjadikannya 63% lebih murah dibandingkan model sebelumnya, O1-mini.
Kelebihan terbesar dari DeepSeek-R1 adalah model ini open-source, memberikan fleksibilitas lebih besar bagi para pengembang untuk mengakses dan memodifikasinya sesuai kebutuhan. Sebaliknya, OpenAI tetap mempertahankan kebijakan tertutup pada o3-mini, yang berarti pengguna tidak dapat mengakses kode sumbernya.
Kesimpulan:
Secara keseluruhan, o3-mini dari OpenAI unggul dalam kebanyakan perbandingan benchmark, terutama dalam hal reasoning, coding, dan kemampuan tugas umum. Namun, DeepSeek-R1 tetap memiliki keunggulan dalam matematika dan lebih unggul dalam akurasi kalibrasi. Dari segi biaya, DeepSeek-R1 menawarkan solusi yang lebih hemat, sementara o3-mini menawarkan performa yang lebih stabil dan mumpuni. Ditambah lagi, DeepSeek-R1 menawarkan keunggulan besar dengan status open-source-nya.
Sumber : Medium