Review AMD Ryzen 3 3300X ไม่มี AVX512 แจ้งเกิดไม่ได้นะคะ ใครบางคนไม่ได้กล่าวไว้ .....

[saiymhok]

กลับมาเล่าเรื่อง งานวิจัย เทรนในการทำ AI ซึ่งสำคัญต่อโลก ต่อจากนี้

เนื่องจาก Lib Framework อย่าง Tensor ถูกพัฒนาalgorithm มาทำงาน มา Cuda ได้เป็นอย่างดี
ความนิยมการ ในการคูณ matrix เพื่อทำ AI(Deep learning) นิยม ไปใช้ GPU ของ Nvidia อย่างมาก

แม้ AMD จะพยายาม ออก product ชิบ คำนวน AI อะไรก็ตาม ก็ไม่ได้รับความนิยม ใดๆทั้งนั้น ในตลาด Dev จริงๆ(เป็นเรื่องตลกมากที่พยายาม ส่ง link ตัวอย่าง หน่วยประมวลผล ของAMD มาให้ดู)

แม้ Tensor จะใช้ GPU ของ Nvidia ได้เป็นอย่างดี
แต่ราคา ของ HPC with GPU นั้นไม่ถูกเลย

มันจึงมีความพยายาม พัฒนางานวิจัยที่ทำให้ Server ธรรมดาเนียละ ที่จริงๆๆ มันก็ Run Deep learning แต่มัน คูณได้ช้ากว่า GPU ของ Nvidia สามารถ คูณได้เร็วขึ้น ให้เหมาะกับงานบ้างอย่าง

intel วิจัยแล้วออก พัฒนา Product คือ Intel® Deep Learning Boost ที่ทำให้ ทำงานได้เร็วกว่า CPU รุ่นเก่าของตัวเอง โดย ใช้ AVX 512 เป็น base ของ Intel® Deep Learning Boost เทคโนโลยี

แต่ ก็มีงานวิจัยอื่นๆ ซึ่งที่กำลังดัง ช่วงนี้คือ SLIDE algorithm ซึ่งวิจัยโดย Rice University

https://wccftech.com/intel-ai-breakthrough-destroys-8-nvidia-v100-gpu/

ผลการวิจัย คือ สามารถทำให้ 44-Core Intel Xeon Destroying NVIDIA Tesla V100 GPU
ซึ่ง SLIDE algorithm ไม่ได้ใช้ AVX 512 และไม่เกี่ยวข้อง Intel® Deep Learning Boost ใดๆดังนั้น

ผลก็คือ สามารถ ประหยัดค่าใช้ Server ได้อย่างมาก
แต่สำหรับ Dev ทั่วไป ยังคงไปใช้ SLIDE algorithm ไม่ได้ ได้แค่คาดหวังว่า Tensorflow version ต่อไปจะ รองรับ SLIDE algorithm

ดังนั้นวันนี้ Dev ในสายที่ใช้ CPU server ที่มีอยู่แล้ว จึงมีทางเลือก แค่ Tensorflow with AVX 512 ในการคำนวน server ส่วน ถ้าจะ คำนวนบน desktop สำหรับ ขั้น devก็ใช้ Tensorflow with Cuda
ซึ่งในโลกของ AI ไม่มีอะไรที่เกี่ยวข้องกับ AMD เลยแม้แต่น้อย ส่วน dev คนไหน อินดี้ พยายามใช้ CHIP AMD ทำ AI ก็ขอให้โชคดี

ปล ก็ไม่รู้ว่าทำไม ต้องมาพิมพ์เรื่อง ai in real wolrd
ทั้งๆที่แค่มาบอกว่า game ไม่เกี่ยวกับ AVX 512 เลย

ปล ตอนนี้ กำลัง ทำงานวิจัย เรื่อง Server AVX 2 vs Server avx 512 vs Cuda desktop for AI computing

Nvidia เปิด A100 มาแล้ว น่าจะแรงขึ้นเยอะ แถมเซิรฟเวอร์ DGX-A100 ที่ใช้ CPU AMD Epyc 7742 สองชุด กับ A100 จำนวน 8 ใบ ก็น่าจะแรงไม่ใช่เล่น

https://www.blognone.com/node/116348

[Sumomo]

นั้นสิครับ แต่ก็ไม่แน่นะครับ เพราะ CPU ที่ Console ใช้เป็นรุ่น Custom เขาอาจจะใช้ชุดคำสั่งพวกนี้ลงไปให้แล้วก็ได้ ผมอ้างอิงความคิดนี้จาก RDNA ที่รุ่นใน Console จะรองรับ Ray tracing นะครับ ทั้งที่ตัวปัจจุบันตอนนี้ไม่รองรับ

เพิ่มเติมนะครับ ถ้า Console ไม่รองรับ AVX-512 จริง แต่นั้นไม่ใช่เป็นการบอกว่า Engine เกมที่รันอยู่บน PC จะไม่รองรับ ในลิงค์เป็น Unreal Engine ที่เกมส่วนใหญ่ก็น่าจะใช้กันเยอะอยู่นะครับ
ref: https://devmesh.intel.com/projects/i...nd-the-curtain

อย่างอีกเจ้า Unity Engine ยังรองรับ AVX2 เลยทั้ง ๆ ที่บน Console ยุคปัจจุบัน ยังไม่มีให้ใช้
ref: https://docs.unity3d.com/Packages/co...ual/index.html

จริง ๆ ผมว่าอยากให้มองว่ามันมีประโยชน์ มีก็ใช้ ไม่มีก็ใช้ของเดิมที่มีอยู่ Dev ที่ทำระบบเขาคิดถึงตรงนี้อยู่แล้วละครับ คงไม่มี dev ที่ไหนเขียนระบบมาให้ใช้แค่ AVX-512 เพียงอย่างเดียวหรอกเนอะ

GPU ตัวล่าสุดในconsole ps5 ,Xbox X เป็น RDNA2 ที่ยังไม่เปิดตัวครับ มีRay Tracingแน่นอนอยู่แล้ว

[playpotonjom]

GPU ตัวล่าสุดในconsole ps5 ,Xbox X เป็น RDNA2 ที่ยังไม่เปิดตัวครับ มีRay Tracingแน่นอนอยู่แล้ว

อ๋อดีจัง ขอบคุณครับ

กลับมาเล่าเรื่อง งานวิจัย เทรนในการทำ AI ซึ่งสำคัญต่อโลก ต่อจากนี้

เนื่องจาก Lib Framework อย่าง Tensor ถูกพัฒนาalgorithm มาทำงาน มา Cuda ได้เป็นอย่างดี
ความนิยมการ ในการคูณ matrix เพื่อทำ AI(Deep learning) นิยม ไปใช้ GPU ของ Nvidia อย่างมาก

แม้ AMD จะพยายาม ออก product ชิบ คำนวน AI อะไรก็ตาม ก็ไม่ได้รับความนิยม ใดๆทั้งนั้น ในตลาด Dev จริงๆ(เป็นเรื่องตลกมากที่พยายาม ส่ง link ตัวอย่าง หน่วยประมวลผล ของAMD มาให้ดู)

แม้ Tensor จะใช้ GPU ของ Nvidia ได้เป็นอย่างดี
แต่ราคา ของ HPC with GPU นั้นไม่ถูกเลย

มันจึงมีความพยายาม พัฒนางานวิจัยที่ทำให้ Server ธรรมดาเนียละ ที่จริงๆๆ มันก็ Run Deep learning แต่มัน คูณได้ช้ากว่า GPU ของ Nvidia สามารถ คูณได้เร็วขึ้น ให้เหมาะกับงานบ้างอย่าง

intel วิจัยแล้วออก พัฒนา Product คือ Intel® Deep Learning Boost ที่ทำให้ ทำงานได้เร็วกว่า CPU รุ่นเก่าของตัวเอง โดย ใช้ AVX 512 เป็น base ของ Intel® Deep Learning Boost เทคโนโลยี

แต่ ก็มีงานวิจัยอื่นๆ ซึ่งที่กำลังดัง ช่วงนี้คือ SLIDE algorithm ซึ่งวิจัยโดย Rice University

https://wccftech.com/intel-ai-breakthrough-destroys-8-nvidia-v100-gpu/

ผลการวิจัย คือ สามารถทำให้ 44-Core Intel Xeon Destroying NVIDIA Tesla V100 GPU
ซึ่ง SLIDE algorithm ไม่ได้ใช้ AVX 512 และไม่เกี่ยวข้อง Intel® Deep Learning Boost ใดๆดังนั้น

ผลก็คือ สามารถ ประหยัดค่าใช้ Server ได้อย่างมาก
แต่สำหรับ Dev ทั่วไป ยังคงไปใช้ SLIDE algorithm ไม่ได้ ได้แค่คาดหวังว่า Tensorflow version ต่อไปจะ รองรับ SLIDE algorithm

ดังนั้นวันนี้ Dev ในสายที่ใช้ CPU server ที่มีอยู่แล้ว จึงมีทางเลือก แค่ Tensorflow with AVX 512 ในการคำนวน server ส่วน ถ้าจะ คำนวนบน desktop สำหรับ ขั้น devก็ใช้ Tensorflow with Cuda
ซึ่งในโลกของ AI ไม่มีอะไรที่เกี่ยวข้องกับ AMD เลยแม้แต่น้อย ส่วน dev คนไหน อินดี้ พยายามใช้ CHIP AMD ทำ AI ก็ขอให้โชคดี

ปล ก็ไม่รู้ว่าทำไม ต้องมาพิมพ์เรื่อง ai in real wolrd
ทั้งๆที่แค่มาบอกว่า game ไม่เกี่ยวกับ AVX 512 เลย

ปล ตอนนี้ กำลัง ทำงานวิจัย เรื่อง Server AVX 2 vs Server avx 512 vs Cuda desktop for AI computing

งานวิจัยน่าสนใจครับ แนว HPC ส่วนตัวผมมองว่า AVX512 น่าจะมีประโยชน์กับพวกอุปกรณ์ IoT นะครับ เช่นพวกทำ Image Processing ที่ทุกวันนี้ถ้าเล่นท่ายาก ๆ ก็ส่งข้อมูลผ่าน API กลับไปประมวลผลที่ Server

คือปัจจุบันถ้าจะทำใช้งานเฉพาะทางบางอย่าง ที่ไม่ได้ต้องการ GPU คำนวณสูง ๆ เห็นจะไปใช้บอร์ดจาก Intel, Google, Nvidia กันหมด ซึ่งถ้า AVX512 สามารถทำงานได้ดี บอร์ดพวกนี้ก็คงจะไม่จำเป็นหรือจำเป็นน้อยลงสำหรับบางงาน หรือประหยัดต้นทุนของโครงการได้มากเลยครับ

ref: http://www.sooner.ai/2019/05/07/battle-of-edge-ai/

ส่วนเรื่องงานวิจัยคงแนวนี้ปะครับ แต่เป็นเรื่องการทำ Deep learning แทน

https://www.researchgate.net/publication/316542898_Fast_Sorting_Algorithms_using_AVX-512_on_Intel_Knights_Landing

https://www.researchgate.net/publication/320799631_A_Novel_Hybrid_Quicksort_Algorithm_Vectorized_using_AVX-512_on_Intel_Skylake

อีกอันของ Google พึ่งตีพิมพ์

https://arxiv.org/pdf/2001.04438.pdf

[best0032001]

playpotonjom ถ้า ทำ edge iot devices ก็ควรใช้ ใช้ หน่วย ประมวล ML บน ของพวก นี้ ซื้อมา ลง code ใช้ได้เลย
ของintel ดูใช้งานสะดวกสุดเพราะ ncs2 เพราะเสียบ USB

แต่ถ้า เราจะ process ภาพ จาก กล้อง วงจรปิดทั้งติด ว่าใครเข้าออกบ้าง
ซึ่งปกติ กล้อง พวกนี้ ภาพที่ ส่งจาก กล้อง ก็ถูกส่งไป บันทึกที่ Server อยู่แล้ว
แล้วถ้า server สามารถ process ภาพ และ classification ทั้งจำนวนคนเข้าออก รวมถึงใครเข้าออกห้องไหนบ้าง

มันคือ smart building ที่จะเกิด ต่อก็เหลือแค่ว่า เอาไป process ที่ไหน
จริงๆ คนทำ ML ก็รู้ดีอยู่แล้ว ว่าการ เทรน model กับการ deploy process classification มันคนละเครื่องกัน

จะ เทรน Model ด้วย GPU Nvidia แล้วไป run classification บน server แล้วถ้า server มี AVX512 แล้วทำ ไมไม่ ใช้ runtime ด้วย AVX512

[ssk]

เค้าทำบน gpu ที่เร็วกว่า avx แล้วจะไป run บน server avx ทำไมล่ะครับ ก็ set gpu server มาสิ จะไป recode บน avx อีกทำไม?

ผมถึงพูดถึง real word ai ไม่ใช่กะลา ai.
พอดีติดงานยังไม่ว่างมาจัด กับ เห็นสายตรงมาคุยแบ้วล่ะครับ สาย อุตสาหกรรม พักหน่อยมีงานติดๆกัน

[O_ho]

[best0032001]

อธิบายมาขนาด นี้ ยังไม่พ้นคำว่ากะลา หยาบคายจริงๆๆ คนแบบนี้
ขออนุญาติแจ้งแบน

[ssk]

ก็ผมพูดถูกนะ ว่าการ code อะไร ต่องนึกถึง
สภาพแวดล้อมของ สิ่งที่จะใช้จริงเสมอ

Code บน gpu ก็ ต้องหา gpu server ก่อนสิครับ จะไป มองว่า runtime บน avx เร็วกว่าอย่างเดียวทำไม? นั่นล่ะคือกะลาของคุณ เพราะคุณพูดแต่ข้อดี avx

แล้วการที่คุณพูดถึง runtime มันก็ตรงกับที่ผมเคยพูดเรื่อง emulate libraly ของ runyime vm. ที่ผมพูดไว้คราวก่อน ว่ามันเป็นร่าง และ เงา อยู่ด้วยกัน คือ code มาบน avx512 สุดท้ายไปลงที่อะไร runtime ก็ต้องแปล แล้วจะ native coding on avx512 แบบที่คุณพยายามชี้ทำไมล่ะ?

และการ code บน gpu api เราก็ทราบว่ามันเร็วจากจำนวน fp unit ที่มากกว่า มันถึงนิยมใช้ ท่าน playpotonjom พูดออกมาแรกๆ

ส่วนจะมาทับถมเรื่อง amd ไม่มีบทบาทด้าน
AI คุณลืมรึเปล่า นี่ห้อง AMD ผมแค่ยกมาให้ดู เฉยๆ ไม่ได้อะไร โลกจริงส่วนใหญ่ก็ xenon+tesla นั่นแหละ แต่โดยมารยาทผมเลยไม่ไช้น่ะ คุณก็งับ amd อยู่นั่แหละ

และผมตอบผ่านๆ ไม่ได้ลงลึกอะไร ยังไม่ว่าง

ส่วนกะลา ถ้ามันจะดัดจริตรับไม่ได้มากนัก ว่าหยาบคายก็เชิญ ตามสบาย