Intel introduced BFLOAT16 & AVX512 BFLOAT16 as Next Generation FP Format

[Comlow]

Intel Introduced BFLOAT16 data type & AVX512 BFLOAT16 on Intel Cooper Lake SP LGA4189





Intel แนะนำ BFLOAT16 Data Type ใหม่พร้อมกับเปิดตัวคำสั่ง AVX512 BFLOAT16 ใน Intel Cooper Lake SP

ปฏิวัติวงการการประมวลผลข้อมูลชนิดทศนิยม หรือ Floating Point ที่มีมานานจากยุค X87 80-bit IEEE ในฐานะ FP32รูปแบบข้อมูลชนิดทศนิยมมาตรฐาน สู่ยุคใหม่กับ BFLOAT16 Data ที่สามารถทำงานได้ครอบคลุมข้อมูล FP32 Range ทั้งหมด ในขณะที่ใช้ทรัพยากรรีจิสเตอร์เท่ากับข้อมูลทศนิยม FP16 เพื่อนำไปสู่ยุค Double X87 Throughput / Clock cycle ใน Intel Cooper Lake SP LGA4189 มีนาคม 2563 นี้

เทียบรูปแบบฟอร์แมตข้อมูลชนิด BFLOAT16 กับ FP32 หรือ X87 80-bit IEEE มาตรฐาน



Intel นำหน้าไม่หยุดยั้ง AMD ดมฝุ่น PM 2.5 ตามหลังอีกแล้วครับผม

[ToehNarak]

ใครจะไปทำตามฮะ มีใครจะใช้ตามฮะ

บอกว่า ม่อ ม่อ ม่อ ก็ ม่อ สิครับ เข้าใจมั้ยครับ

[TWK.]

เมพ ขิงๆ

[ToehNarak]

น้า Comlow สนใจมั้ยฮะ

3990X ราคาร้านวัว 135,900 บาท

sdfsre.jpg

แต่ซื้อมาแล้วอาจจะไม่ถึงฝันทุกโปรแกรม เพราะอินเทลวางยา


...อะไรๆก็ต้องโทษอินเทลไว้ก่อน หาก avx-512 มีใน amd ก็จะดีเอง แต่ถ้ายังไม่มีก็ไม่มีดี เข้าใจมั้ยฮะ

[aotshooter]

อารมณ์คล้ายๆ data type ในภาษาที่ใช้เขียนโปรแกรมป่ะครับ ที่ตัวแปรขนาดยิ่งกว่ายิ่งเก็บค่า ข้อมูลได้เยอะ
int-long
float -double
แต่กลับกันใน DeepLearning ที่ค่า default จะเป็น FP32 ไว้เก็บค่าต่างๆเช่น weight, bias, input, activation
การที่คนเริ่มมาใช้ FP16 ก็คือลดพื้นที่การเก็บ floating point ลงครึ่งนึง จากเดิมค่า weight 1 ตัวใช้พื้นที่เก็บ 32-bit ก็เหลือใช้แค่ 16-bit พอ ทำให้เราสามารถยัด data ลงไปบน RAM ตัวเดิมได้มากกว่าโหมด FP32 ปกติเป็นสองเท่า เรียกว่า ถ้าเดิมในโค้ดกำหนด (batch_size) ก็เปลี่ยนเป็น (batch_size)*2 ได้เลย
ข้อเสียของการใช้ FP16 มันก็มี เวลาเจอตัวเลขทศนิยมที่เล็กมากๆอาจเกิดอาการ underflow

ที่ผ่านมา Dev เขาใช้ FP32 เพื่อความแม่นยำ FP16 ใช้เพื่อความรวดเร็ว
แต่การมาของ BFLOAT16 นี่ทำให้ลบจุดด้อยทั้งสอง number format แบบเก่าไปได้เลย เมพ

[aotshooter]

น้า Comlow สนใจมั้ยฮะ

3990X ราคาร้านวัว 135,900 บาท

[ATTACH=CONFIG]4490191[/ATTACH]

แต่ซื้อมาแล้วอาจจะไม่ถึงฝันทุกโปรแกรม เพราะอินเทลวางยา


...อะไรๆก็ต้องโทษอินเทลไว้ก่อน หาก avx-512 มีใน amd ก็จะดีเอง แต่ถ้ายังไม่มีก็ไม่มีดี เข้าใจมั้ยฮะ

นี่อินเทลหรือทักกี้กันแน่ครับ

ปล. เห็น AMD ก็เพิ่ม bfloat16 ใน RadeonOpenCompute/ROCm library เหมือนกัน

[ToehNarak]

อารมณ์คล้ายๆ data type ในภาษาที่ใช้เขียนโปรแกรมป่ะครับ ที่ตัวแปรขนาดยิ่งกว่ายิ่งเก็บค่า ข้อมูลได้เยอะ
int-long
float -double
แต่กลับกันใน DeepLearning ที่ค่า default จะเป็น FP32 ไว้เก็บค่าต่างๆเช่น weight, bias, input, activation
การที่คนเริ่มมาใช้ FP16 ก็คือลดพื้นที่การเก็บ floating point ลงครึ่งนึง จากเดิมค่า weight 1 ตัวใช้พื้นที่เก็บ 32-bit ก็เหลือใช้แค่ 16-bit พอ ทำให้เราสามารถยัด data ลงไปบน RAM ตัวเดิมได้มากกว่าโหมด FP32 ปกติเป็นสองเท่า เรียกว่า ถ้าเดิมในโค้ดกำหนด (batch_size) ก็เปลี่ยนเป็น (batch_size)*2 ได้เลย
ข้อเสียของการใช้ FP16 มันก็มี เวลาเจอตัวเลขทศนิยมที่เล็กมากๆอาจเกิดอาการ underflow

ที่ผ่านมา Dev เขาใช้ FP32 เพื่อความแม่นยำ FP16 ใช้เพื่อความรวดเร็ว
แต่การมาของ BFLOAT16 นี่ทำให้ลบจุดด้อยทั้งสอง number format แบบเก่าไปได้เลย เมพ

อย่าโม้ครับ ผมบอกว่า ม่อ ม่อ ม่อ ก็ต้อง ม่อ สิครับ อย่าดื้อครับ

[Comlow]

Intel Leap Ahead

คอร์แยะกินไฟเยอะ


เจอคำสั่ง AVX เข้าไป ร้องเอ๋งๆๆๆ!!!


เหมือนเราเทียบกระบือ 64 ตัว ปะทะ ม้าแข่งฝีเท้าจัด 18 28 56 ตัว


Intel ก็มีครับ 64 Core แต่ดูจำนวนเธรดดีๆ นี่คือ 4-way Hyperthreading Technology


New 4 x FMA512 per Core


พบกันอีกไม่นานเกินรอครับ Sapphire Rapid is coming soon

[ToehNarak]

นี่อินเทลหรือทักกี้กันแน่ครับ

ใครครับ ทักกี้ ผมรู้จักแต่ทักกี้ สึบาสะครับ

600.jpg

[ToehNarak]

[url=https://uppic.cc/v/6RES]
คอร์แยะกินไฟเยอะ:smellie_oops


เจอคำสั่ง AVX เข้าไป ร้องเอ๋งๆๆๆ!!!


เหมือนเราเทียบกระบือ 64 ตัว ปะทะ ม้าแข่งฝีเท้าจัด 18 28 56 ตัว


Intel ก็มีครับ 64 Core แต่ดูจำนวนเธรดดีๆ นี่คือ 4-way Hyperthreading Technology


พบกันอีกไม่นานเกินรอครับ Sapphire Rapid is coming soon

โห น้า Comlow ตัวใครตัวมันเน้อออออออออออออออออออออออออออออออออออออ

Sapphire Rapid นี่ใช่ที่จะเอามาทำเป็น Core X Series รุ่นต่อไปรึปล่าวครับ

[Comlow]

Intel Always Leap Ahead

Sapphire Rapid is coming soon


Intel First DDR5 6400MT/s and PCIEe 5.0 x 16 LGA 4677

[โหงพราย]

เอ่อ ทางแฟน AMD เขาโทษ วิน10 นะครับ ทำให้ Threadripper 3990X เสดงพลัง ดีดนิ้ว ที่เดียวทำให้เงินรายได้ของ intel หายไปครึ่งนึง ไม่ได้ (ต่อไปคนบนโลกนี้จะเลิกใช้ วินโดว์แล้ว)

แต่พอไป Linux Threadripper 3990X ปลดปล่อยพลัง ดีดนิ้วทีเดียว intel ถึงกับเจ๊ง อำลาวงการ โดน AMD กินรวบไปเลย ไม่มียี้ห้อ intel บนโลกใบนี้แล้ว(ต่อไปคนบนโลกใบนี้จะหันไปใช้ Linux มากกว่า 90% นะครับ)

และตอนนี้ผู้พัฒนา ซอฟแวร์ ก็ไม่ทำให้ intel แล้ว เขาทำให้แต่ AMD นะครับ intel คงจะล่มจมไปพร้อมกับวินโดว์ และ AMD จะเจริญก้าวหน้า ยอดขายกินรวบทั่วโลก ไปกับ Linux นะครับ

[Comlow]

แฟนๆ AMD คงต้องรอเกมส์บน Linux แบบอดอยากปากแห้งไปอีกนานแสนนานครับผม

[โหงพราย]

เดียวแฟน AMD ก็จะเอาชุดคำสั่ง SSE 1-4 และ AVX ขายคืน intel หมดแล้วครับ เพราะ AMD ไม่ต้องใช้แล้ว และนักพัฒนาเขาไม่เอามาใช้กันแล้ว เดียวเขาจะพัฒนาโปรแกรมให้ใช้แต่ AMD ใช้บน Linux และใช้กันทั่วโลก intel และ วินโดว์ จะเป็นหมาหัวเน่า ไม่มีใครในโลกนี้ซื้อไปใช้อีกแล้ว

[ToehNarak]

Intel Always Leap Ahead

Sapphire Rapid is coming soon


Intel First DDR5 6400MT/s and PCIEe 5.0 x 16 LGA 4677

โห ถ้ามากับ DDR5 จริง ราคาใหม่ๆ ทั้ง cpu ทั้งแรม ทั้ง m.2 NVMe pcie 5.0 ราคาคงสยองไม่น้อย

เมนบอร์ด Asus ROG ตัวท๊อปไม่ปาไป 3 หมื่นเลยเหรอแบบนี้