Lompat ke isi

Groq

Dari Wikipedia bahasa Indonesia, ensiklopedia bebas
Groq, TBK
Jenis perusahaanPrivat
Didirikan2016
Kantor pusatMountain View, California, US
PendiriJonathan Ross
Tokoh kunciJonathan Ross (CEO), Andrew S. Rappaport (Board Member), Chamath Palihapitiya (Investor)
ProdukUnit Pemrosesan Bahasa (LPU)
PendapatanUS$3.2 juta (2023)[1]
US$−88 juta (2023)[1]
Karyawan250 (2023)
URLgroq.com

Groq, Inc. merupakan perusahaan kecerdasan buatan (AI) Amerika yang membangun Sirkuit terintegrasi khusus aplikasi akselerator AI (ASIC) yang mereka sebut Unit Pemrosesan Bahasa (LPU) dan perangkat keras yang terhubung dengan tujuan untuk mempercepat kinerja inferensi beban kerja AI.

Beberapa contoh penggunaan kerja AI yang dapat dijalankan pada LPU Groq adalah: model bahasa besar (LLM),[1][2] klasifikasi gambar,[3] deteksi anomali,[4][5] dan analisis prediktif.[6][7]

Kantor pusat Groq berada di Mountain View, CA, dan memiliki kantor di San Jose, CA, Liberty Lake, WA, Toronto, Kanada, London, Inggris . Serta memiki karyawan yang bekerja secara remote di Amerika Utara dan Eropa .

Sejarah

[sunting | sunting sumber]

Groq dibentuk pada tahun 2016 oleh beberapa orang yang pernah bekerja menjadi insinyur Google, yang dipimpin oleh Jonathan Ross, salah satu perancang Unit Pemrosesan Tensor (TPU), ASIC akselerator AI, dan Douglas Wightman, seorang pengusaha dan mantan insinyur di Google X (dikenal sebagai X Development ), yang menjabat sebagai CEO pertama perusahaan.[8][9]

Groq menerima pendanaan awal dari Chamath Palihapitiya dari Social Capital, dengan investasi sebesar $10 juta pada tahun 2017 [10] dan tak lama sesudah itu berhasil memperoleh suntikan dana tambahan.

Pada April 2021, Groq berhasil menghimpun dana sebesar $300 juta dalam putaran investasi seri C yang dipimpin oleh Tiger Global Management dan D1 Capital Partners.[11] Investor aktif saat ini diantaranya adalah : The Spruce House Partnership, Addition, GCM Grosvenor, Xⁿ, Firebolt Ventures, General Global Capital, dan Tru Arrow Partners, serta investasi yang dilanjutkan dari TDK Ventures, XTX Ventures, Boardman Bay Capital Management, dan Infinitum Partners.[12][13] Setelah tahap penggalangan dana seri C, Groq memiliki nilai lebih dari $1 miliar, membuat startup ini menjadi unicorn .[14]

Pada tanggal 1 Maret 2022, Groq mengakuisisi Maxeler Technologies, sebuah perusahaan yang menawarkan teknologi pada sistem manajemen data.[15]

Pada 16 Agustus 2023, Groq memilih fasilitas fabrikasi Samsung Electronics di Taylor, Texas untuk memproduksi chip generasi terbarunya, dengan menggunakan rangkaian pemrosesan 4 nanometer (nm) milik Samsung. Ini merupakan pesanan pertama di pabrik chip Samsung yang tergolong baru ini.[16]

Kemudian di tanggal 19 Februari 2024, Groq meluncurkan platform untuk para pengembang, GroqCloud, dengan tujuan untuk menarik para pengembang untuk menggunakan API Groq dan menyewa akses terhadap chip mereka.[17][9] Selanjutnya, pada tanggal 1 Maret 2024, Groq mengakuisisi Definitive Intelligence, sebuah perusahaan startup yang dikenal karena menawarkan berbagai solusi AI berorientasi bisnis, untuk membantu platform cloud-nya.[18]

Groq berhasil meraup $640 juta dalam tahap investasi seri D yang dipandu oleh BlackRock Private Equity Partners pada bulan Agustus 2024, yang membuat perusahaan ini bernilai $2,8 miliar.[9][19]

Update terbaru pada tahun 2025 oleh Groq melalui situs webnya melaporkan bahwa mereka telah mendapatkan kucuran dana dari KSA ( Kerajaan Arab Saudi ) sebesar 1,5 Miliar serta memperoleh kesepakatan dengan Bell Canada dengan tujuan memperluas infrastruktur AI nasional.

Unit Pemrosesan Bahasa

[sunting | sunting sumber]
Foto hasil cetakan dari LPU V1 milik Groq

Groq menggunakan nama awal untuk ASIC mereka sebagai Tensor Streaming Processor (TSP), dan kemudian mengganti nama TSP menjadi Language Processing Unit (LPU).[1][20][21]

LPU memiliki fitur mikroarsitektur yang dibagi menjadi beberapa bagian, di mana unit memori tersambung dengan unit komputasi vektor dan matriks.[22][23] Desain ini memungkinkan pemanfaatan lokalitas aliran data dalam grafik komputasi AI, sehingga meningkatkan performa dan efisiensi eksekusi. LPU dirancang berdasarkan dua aspek penting:

  1. Aktivitas kerja AI menampilkan paralelisme data yang substansial, yang dapat dipetakan ke perangkat keras yang dibangun secara khusus, yang menghasilkan peningkatan performa [22][23]
  2. Desain prosesor deterministik, ditambah dengan model pemrograman produsen-konsumen, memungkinkan kontrol dan penalaran yang tepat atas komponen perangkat keras, sehingga menghasilkan performa dan efisiensi energi yang optimal.[22][23]

Disamping mikroarsitekturnya yang terbagi secara fungsional, LPU juga dapat digolongkan ke dalam arsitektur inti tunggal dan deterministik.[22][24] LPU bisa mencapai pelaksanaan penentuan dengan menghindari penggunaan komponen perangkat keras yang reaktif ( prediktor cabang, arbiter, buffer penataan ulang, cache ) [22] dan dengan semua pelaksanaan yang dikontrol secara eksplisit oleh kompiler sehingga menjamin determinisme dalam pelaksanaan program LPU.[23]

LPU generasi pertama (LPU v1) menghasilkan kecepatan komputasi lebih dari 1TeraOp/s per mm persegi silikon untuk chip 14 nm berukuran 25×29 mm yang beroperasi pada frekuensi clock sebesar 900 MHz.[22] Sementara itu, LPU generasi kedua (LPU v2) akan diproduksi pada node proses 4 nm Samsung.[16]

Performa

[sunting | sunting sumber]

Groq hadir sebagai penyedia API pertama yang berhasil mencapai kecepatan 100 token per detik pada saat menjalankan model parameter Llama2-70B milik Meta .[25]

Groq saat ini menjadi penyedia berbagai model bahasa sumber terbuka yang berjalan pada LPU-nya untuk akses publik.[26] Akses terhadap demo-demo ini tersedia di situs web Groq. Kinerja LPU saat menjalankan LLM yang bersifat open source ini telah di-benchmark secara independen oleh ArtificialAnalysis.ai, dibandingkan dengan penyedia LLM lainnya.[27] Kinerja yang diukur dari LPU ini disajikan dalam tabel di bawah ini:

Kinerja LLM Unit Pemrosesan Bahasa
Nama Model Token/detik (T/s) Latensi (detik)
Llama2-70B [28][29][30] 253 T/detik 0,3 detik
Mixtral [31] 473 T/detik 0,3 detik
Gemma [32] 826 T/detik 0,3 detik

Lihat juga

[sunting | sunting sumber]

Referensi

[sunting | sunting sumber]
  1. 1 2 3 4 Williams, Wayne (27 February 2024). "'Feels like magic!': Groq's ultrafast LPU could well be the first LLM-native processor — and its latest demo may well convince Nvidia and AMD to get out their checkbooks". TechRadar Pro. TechRadar. Diakses tanggal 19 April 2024. Kesalahan pengutipan: Tanda <ref> tidak sah; nama "TechRadar-LPU" didefinisikan berulang dengan isi berbeda
  2. ↑ Ward-Foxton, Sally (12 September 2023). "Groq Demonstrates Fast LLMs on 4-Year-Old Silicon". EETimes. Diakses tanggal 19 April 2024.
  3. ↑ Ward-Foxton, Sally (21 January 2020). "Groq's AI Chip Debuts in the Cloud". EETimes. Diakses tanggal 19 April 2024.
  4. ↑ Moorhead, Patrick. "US Army Analytics Group – Cybersecurity Anomaly Detection 1000X Faster With Less False Positives". Forbes. Diakses tanggal 19 April 2024.
  5. ↑ Herman, Arthur. "Cybersecurity Is Entering The High-Tech Era". Forbes. Diakses tanggal 19 April 2024.
  6. ↑ Heinonen, Nils. "Researchers accelerate fusion research with Argonne's Groq AI platform". Argonne Leadership Computing Facility. Diakses tanggal 19 April 2024.
  7. ↑ Larwood, Mariah; Cerny, Beth. "Argonne deploys new Groq system to ALCF AI Testbed, providing AI accelerator access to researchers globally". Argonne Leadership Computing Facility. Diakses tanggal 19 April 2024.
  8. ↑ Levy, Ari (21 April 2017). "Several Google engineers have left one of its most secretive AI projects to form a stealth start-up". CNBC. Diakses tanggal 19 April 2024.
  9. 1 2 3 Nieva, Richard (August 5, 2024). "The AI Chip Boom Saved This Tiny Startup. Now Worth $2.8 Billion, It's Taking On Nvidia". Forbes. Kesalahan pengutipan: Tanda <ref> tidak sah; nama "nieva2024" didefinisikan berulang dengan isi berbeda
  10. ↑ Clark, Kate (6 September 2018). "Secretive semiconductor startup Groq raises $52M from Social Capital". TechCrunch. Diakses tanggal 19 April 2024.
  11. ↑ King, Ian (14 April 2021). "Tiger Global, D1 Lead $300 Million Round in AI Chip Startup Groq". Bloomberg. Diakses tanggal 19 April 2024.
  12. ↑ Wheatly, Mike (14 April 2021). "AI chipmaker Groq raises $300M in Series C round". Silicon Angle. Diakses tanggal 19 April 2024.
  13. ↑ McFarland, Alex (14 April 2021). "AI Chip Startup Groq Closes $300 Million in Series C Fundraising". Unite.AI. Diakses tanggal 19 April 2024.
  14. ↑ Andonov, Kaloyan; Lavine, Rob (19 April 2021). "Analysis: Groq computes a $300m series C". Global Venturing. Diakses tanggal 19 April 2024.
  15. ↑ Prickett Morgan, Timothy (2 March 2022). "GROQ BUYS MAXELER FOR ITS HPC AND AI DATAFLOW EXPERTISE". The Next Platform. Diakses tanggal 19 April 2024.
  16. 1 2 Hwang, Jeong-Soo. "Samsung's new US chip fab wins first foundry order from Groq". The Korea Economic Daily. Diakses tanggal 19 April 2024. Kesalahan pengutipan: Tanda <ref> tidak sah; nama "Samsung-Fab" didefinisikan berulang dengan isi berbeda
  17. ↑ Franzen, Carl (March 2024). "Groq launches developer playground GroqCloud with newly acquired Definitive Intelligence". Venture Beat. Diakses tanggal 19 April 2024.
  18. ↑ Wiggers, Kyle (March 2024). "AI chip startup Groq forms new business unit, acquires Definitive Intelligence". TechCrunch. Diakses tanggal 19 April 2024.
  19. ↑ Wiggers, Kyle (2024-08-05). "AI chip startup Groq lands $640M to challenge Nvidia". TechCrunch (dalam bahasa American English). Diakses tanggal 2024-08-26.
  20. ↑ Mellor, Chris (23 January 2024). "Grokking Groq's Groqness". Blocks & Files. Diakses tanggal 19 April 2024.
  21. ↑ Abts, Dennis; Ross, Jonathan; Sparling, Jonathan; Wong-VanHaren, Mark; Baker, Max; Hawkins, Tom; Bell, Andrew; Thompson, John; Kahsai, Temesghen (May 2020). "Think Fast: A Tensor Streaming Processor (TSP) for Accelerating Deep Learning Workloads" (PDF). 2020 ACM/IEEE 47th Annual International Symposium on Computer Architecture (ISCA). hlm. 145–158. doi:10.1109/ISCA45697.2020.00023. ISBN 978-1-7281-4661-4.
  22. 1 2 3 4 5 6 Abts, Dennis; Kimmell, Garrin; Ling, Andrew; Kim, John; Boyd, Matt; Bitar, Andrew; Parmar, Sahil; Ahmed, Ibrahim; Dicecco, Roberto (2022-06-11). "A software-defined tensor streaming multiprocessor for large-scale machine learning". Proceedings of the 49th Annual International Symposium on Computer Architecture. hlm. 567–580. doi:10.1145/3470496.3527405. ISBN 978-1-4503-8610-4. Kesalahan pengutipan: Tanda <ref> tidak sah; nama ":8" didefinisikan berulang dengan isi berbeda
  23. 1 2 3 4 Abts, Dennis; Kimmell, Garrin; Ling, Andrew; Kim, John; Boyd, Matt; Bitar, Andrew; Parmar, Sahil; Ahmed, Ibrahim; Dicecco, Roberto (June 11, 2022). "A software-defined tensor streaming multiprocessor for large-scale machine learning". Proceedings of the 49th Annual International Symposium on Computer Architecture. hlm. 567–580. doi:10.1145/3470496.3527405. ISBN 978-1-4503-8610-4. Diakses tanggal 2024-03-18. Kesalahan pengutipan: Tanda <ref> tidak sah; nama "ACM2022-Jun" didefinisikan berulang dengan isi berbeda
  24. ↑ Singh, Satnam (February 11, 2022). "The Virtuous Cycles of Determinism: Programming Groq's Tensor Streaming Processor". Proceedings of the 2022 ACM/SIGDA International Symposium on Field-Programmable Gate Arrays. hlm. 153. doi:10.1145/3490422.3510453. ISBN 978-1-4503-9149-8. Diakses tanggal 2024-03-18.
  25. ↑ Smith-Goodson, Paul. "Groq's Record-Breaking Language Processor Hits 100 Tokens Per Second On A Massive AI Model". Forbes. Diakses tanggal 19 April 2024.
  26. ↑ Morrison, Ryan (27 February 2024). "Meet Groq — the chip designed to run AI models really, really fast". Tom’s Guide. Diakses tanggal 19 April 2024.
  27. ↑ "Groq Shows Promising Results in New LLM Benchmark, Surpassing Industry Averages". HPCwire. 2024-02-13. Diakses tanggal 2024-03-18.
  28. ↑ "Llama-2 Chat 70B Providers". artificialanalysis.ai. Diakses tanggal 2024-03-18.
  29. ↑ "Groq Shows Promising Results in New LLM Benchmark, Surpassing Industry Averages". Datanami. 2024-02-13. Diakses tanggal 2024-03-18.
  30. ↑ "Groq Demos Fast LLMs on 4-Year-Old Silicon". EE Times. 2023-09-12. Diakses tanggal 2024-03-18.
  31. ↑ "Mixtral 8x7B Instruct Providers". artificialanalysis.ai. Diakses tanggal 2024-03-18.
  32. ↑ "Gemma-7B Models Providers". artificialanalysis.ai. Diakses tanggal 2024-03-18.

Pranala luar

[sunting | sunting sumber]
Diperoleh dari "https://id.wikipedia.org/w/index.php?title=Groq&oldid=28969184"