Çalışma Saatleri
8:30 - 18:30
Bizi Arayın
0216 567 99 00
Amazon Robotics Depo Operasyonları İçin Adobe Substance’den Yararlanıyor

Simülasyon modellerini çalıştırmak için yapay zeka ve sentetik verilerin artan önemi, yeni zorlukları da beraberinde getiriyor. Bu zorluklardan biri, yapay zeka algılama programlarını büyük ölçekli gerçek zamanlı simülasyonlarda eğitmek için çok büyük miktarlarda 3D varlıkların oluşturulmasıdır.

Bu, otonom sürüş, mimaride plan düzenleme, üretimde kusur tespiti ve çok daha fazlası gibi çok çeşitli sektörler için geçerlidir. Bu makalede, Amazon Robotics’in, NVIDIA Omniverse ile birlikte Substance 3D’nin prosedür gücünden yararlanarak depo operasyonlarındaki bu zorluğun üstesinden nasıl geldiğini öğreneceğiz.

Ekip 2021’in sonlarında Adobe Substance 3D, Evrensel Sahne Açıklaması’nı benimsedi (USD) ve 3B ortamların geliştirilmesini geliştirmek amacıyla 3B işlem hatlarını bağlamak ve gelişmiş, gerçek zamanlı 3B uygulamalar geliştirmek için kullanılan bir yazılım platformu olan NVIDIA Omniverse. Yazılım geliştirme mühendisleri ve teknik sanatçılardan oluşan ekip, Amazon’daki çok sayıda çözümü temsil eden çeşitli modeller oluşturmak için iş birliği yapıyor.

Bu simülasyonları görselleştirmenin ve çalıştırmanın zorluğu binlerce dijital ikizin, yani sanal paketlerin yaratılmasında yatmaktadır. Bu süreci otomatikleştirmek için ekip, prosedürel olarak oluşturulmuş binlerce rastgele varlık oluşturmak üzere Substance 3D ve Houdini’yi benimsedi.

Substance 3D ve Omniverse’nin entegrasyonunu tartışacak olan Virtual Systems ekibinden Haining Cao ve Hunter Liu anlatıyor.

Sanal Sistemler ekibi

Haining: Merhaba, benim adım Haining Cao. Bir buçuk yıldır Amazon Robotics’te dokulandırma sanatçısı olarak çalışıyorum.

Hunter: Merhaba, benim adım Hunter Liu ve Amazon Robotics’te teknik sanatçı olarak çalışıyorum ve esas olarak sanat akışımıza ve prosedürel içerik oluşturmaya odaklanıyoruz.

Sanal Sistemler Ekibi, hem kapsamlı çözüm düzeyinde simülasyonları hem de daha büyük çözümlerin parçası olarak bireysel iş istasyonu emülatörlerini kapsayan çok çeşitli projeler üzerinde işbirliği yapar. Ekip, bu simülasyonlar için gereken 3 boyutlu dünyaları tanımlamak amacıyla USD’yi kullanıyor. Ekibin öncelikli odak noktalarından biri, akıllı robotik algılama programlarında kullanılan makine öğrenimi modellerinin eğitimi için sentetik veriler oluşturmaktır.

Haining: Yakın zamanda yapılan bir proje, Amazon ve diğer satıcılardan yöntemsel olarak rastgele seçilebilir kutular oluşturmayı içeriyordu. Ekibimiz, büyük miktarlarda tamamen prosedüre dayalı kutularla 3 boyutlu ortamlarda simülasyonlar çalıştırabilir, bu da zamandan ve paradan tasarruf sağlar. Prosedürel ağ oluşturma için ağ değişiklikleri gerçekleştirebilen güçlü bir yazılım aracı olan Houdini’yi ve prosedürel doku oluşturma ve bunları Omniverse’e yükleme için Substance 3D Designer’ı kullanıyoruz. Burada oluşturduğumuz bir örneğin bir örneğini görebilirsiniz.

Üzerinde çalıştığımız bir diğer proje ise Amazon depolarından birinin çeşitli simülasyonlar ve testler için 3 boyutlu olarak yeniden oluşturulması. Bu çok büyük bir proje çünkü depoda çok sayıda farklı nesne var ve gerçek hayattaki durumları taklit etmek için ekipman ve altyapıdaki koşullardaki değişiklikleri dahil etmemiz gerekiyor.

Boru Hattına Genel Bakış

Haining: Geçtiğimiz yıl, çeşitli DCC araçlarından ve NVIDIA Omniverse’den yararlanarak birden fazla iş akışı geliştirdik. Daha önce de belirtildiği gibi, yakın zamanda ASIN (Amazon Standart Kimlik Numarası) ambalajının temsili bir veri kümesini oluşturmaya yönelik yeni bir işlem hattı tasarladık. Amazon’un sattığı geniş ürün yelpazesi göz önüne alındığında, her bir ürünü veri kümesine dahil etmek son derece zor olurdu. Bu nedenle amacımız, farklı türdeki kutuların oluşturulmasını otomatikleştirmemize ve bunlara farklı malzemeler uygulamamıza olanak tanıyacak bir iş akışı geliştirmekti.

Bu süreç sayesinde şekil, boyut, renk ve doku açısından sayısız varyasyona sahip, binlerce benzersiz kombinasyonla sonuçlanan kutuları başarıyla ürettik. Bu veri seti, veri algılama modellerinin rastgele girdilerle eğitilmesinde önemli bir rol oynayacaktır.

Haining: Kutu üretimi için Substance 3D Designer’ı kullanarak prosedür materyali üzerinde çalışıyorum. Substance 3D Designer’ın güçlü bir araç olduğunu ve öğrenme eğrisinin çok dik olmadığını düşünüyorum. Düğüm grafiği, kullanımı net ve kolay hale getiriyor ve Tasarımcı, tek bir Madde grafiğiyle binlerce farklı dokuyu toplu olarak oluşturabilen özel malzemeler oluşturmama olanak tanıyor.

Genellikle projeye yönelik özel ihtiyaçlarını anlamak için iç müşterilerle tanışarak başlarım. Örneğin, malzemelerde ne tür değişikliklere ihtiyaç duyduklarını (renk, pürüzlülük, belirli hasar türleri vb.), ardından ellerinde bulunan referans fotoğraflarını sağlamalarını isteyeceğim.

Oradan temel karton veya kağıt malzemeyle başlayacağım, ardından dekorları (çıkartmalar ve logolar) katmanlara yerleştireceğim ve sonunda hasarı ekleyeceğim. Desenlerden bazıları, Tasarımcı’daki rastgele desenlere yönelik bir araç olan döşeme oluşturucu kullanılarak oluşturulur.

Malzeme tamamlandıktan sonra, projeye bağlı olarak, onu bir SBSAR olarak Omniverse’e ihraç edeceğim veya Hunter’a teslim edeceğim ve o, Substance malzemesini kullanarak Houdini’deki dokuları rastgele hale getirebilecek.

Hunter: En karmaşık sentetik veri projelerimizde, Illustrator dosyalarının toplu olarak işlenmesini kolaylaştırmak için komut dosyası oluşturma teknikleri kullanırız. Bu girdilerden ilgili bilgileri çıkararak tasarımları etkili bir şekilde 3 boyutlu yapılara çevirebiliriz. Bunu başarmak için Houdini’den yararlanıyoruz. Daha sonra bir Substance 3D dosyasını Houdini boru hattındaki bir Substance düğümü aracılığıyla dahil ederek entegre ediyoruz. Bu adım, veri oluşturma sürecimizin tamamlanmasını sağlar.

Daha fazla varyasyon sunmak için Houdini’de PDG’yi (Prosedürel Bağımlılık Grafiği) kullanıyoruz. PDG, Illustrator dosyalarını farklı kafeslere ve dokulara dönüştürerek birden fazla varyasyonu verimli bir şekilde toplu olarak işlememize olanak tanır.

Sentetik veri oluşturma hattı tamamlandığında sonuçları NVIDIA Omniverse’te yayınlıyoruz. Artık hem prosedürel varlığa hem de malzemeye sahibiz ve parametreleri doğrudan Omniverse’in içinden değiştirebiliriz. Hem ağ hem de malzeme için rastgele değerleri tetiklemek için Python’u kullanıyoruz.

Bu entegrasyon sayesinde Omniverse ekosisteminde oluşturulan sentetik verileri paylaşabilir ve bunlar üzerinde işbirliği yapabiliriz.

Video İçin Tıklayınız.

Substance 3D Araç Seti

Hunter: Substance 3D, onu doku oluşturmada değerli bir araç haline getiren çeşitli güçlü yönler sunar.

  1. Birincisi, üst düzey kontrol sağlayarak dokunun belirli özelliklerini hassas bir şekilde tasarlamamıza ve işlememize olanak tanır. Bu kontrol düzeyi, dokularında istenilen estetik ve detayı elde edebilmemizi sağlar.
  2. İkincisi, Substance 3D, önceki çalışmalarımızın hiçbirini kaybetmeden dokularda yineleme yapmamıza ve değişiklikler yapmamıza olanak tanıyan, tahribatsız bir iş akışı kullanıyor. Bu esneklik, yaratıcı süreç sırasında verimli denemelere ve iyileştirmelere olanak tanır.
  3. Substance 3D ayrıca Substance Engine ile sorunsuz bir şekilde entegre olarak Houdini ve NVIDIA Omniverse platformu gibi yazılım araçları için önceden oluşturulmuş köprüler sunar. Bu entegrasyon, doku dosyalarının kolay aktarımını ve değiştirilmesini kolaylaştırarak iş akışını kolaylaştırır ve verimliliği artırır.
  4. Ayrıca Substance 3D Designer, yüksek çözünürlüklü ağlardan normal haritalar ve ortam kapanma haritaları gibi çeşitli türde doku haritaları oluşturmamıza olanak tanıyan bir doku pişirme özelliği içerir. Bu yetenek özellikle simülasyona hazır içerik oluşturmak ve performansı optimize etmek için faydalıdır.

Bu özellikler bize esnekliği, verimliliği ve diğer yazılım araçlarıyla uyumluluğu korurken karmaşık ve ayrıntılı dokular oluşturma gücü veriyor.

NVIDIA Omniverse’de Madde Entegrasyonu

Hunter: İş akışımızda, verimliliği ve tutarlılığı korumak için öncelikle önceden hazırlanmış varlıklara güveniyoruz. Bununla birlikte, belirli varlıklara dinamik varyasyonlar eklemek için Omniverse içindeki Madde yerel entegrasyonunun avantajından da yararlanırız.

Örneğin; Çeşitli aşınma ve yıpranma türlerini gösterebilen karton durumunu ele alalım. Entegrasyonu kullanarak, Omniverse’deki renderleme işlemi sırasında kartonun görsel görünümünde değişiklikler tetikleyebiliriz. Sonuç olarak, oluşturulan her görüntü, farklı hasar türlerine sahip benzersiz bir karton öğeyi sergileyecek.

Bu yaklaşım, geniş bir yelpazede gerçekçi görsel temsiller oluşturmamıza olanak tanıyarak, sentetik görüntümüzün özgünlüğünü ve derinliğini zenginleştiriyor. veri. Substance entegrasyonu yoluyla dinamik varyasyonları birleştirerek, oluşturulan görüntülerin gerçek dünya senaryolarını aslına sadık bir şekilde temsil eden bir değişkenlik düzeyi sergilemesini sağlıyoruz.

Video için tıklayınız.

NVIDIA Omniverse’in Gücü

Hunter: Omniverse, dijital ikizlerimizi yönetmek ve onlarla çalışmak için paha biçilmez bir platform görevi görüyor. Doğrudan USD ile çalışabilme ve tercih ettiğimiz DCC araçlarını kullanarak modelleri sorunsuzca değiştirebilme yeteneği, özellikle Omniverse Nucleus’u varlık havuzumuz olarak kullanırken iş akışımızı önemli ölçüde basitleştirir. Ayrıca Omniverse, Python ve C++ kullanarak özel araçlar ve iş akışları oluşturmamızı sağlayarak belirli müşteri ihtiyaçlarını karşılayacak uygulamalar geliştirmemize olanak tanıyor.

Ancak, en dönüştürücü yönlerden biri simülasyona özgü özelliklerde yatmaktadır. uzantılar, Omniverse üzerine kurulu bir robot simülasyon araç seti olan NVIDIA Isaac Sim ile birlikte gelir. Bu uzantılar, algılama modellerini eğitmek için sentetik veriler oluşturmamıza ve robotik manipülatörler, lidar ve diğer sensörleri kullanarak canlı simülasyonlar gerçekleştirmemize olanak tanır. Substance malzemeleriyle entegrasyon, işleme sırasında malzeme parametrelerini değiştirmemize bile olanak tanıyarak yeteneklerimizi daha da artırır.

Ayrıca Omniverse Nucleus ekip işbirliğini kolaylaştırmada hayati bir rol oynuyor. Ekibimizin yeni tasarımlara hızlı bir şekilde uyum sağlamasına ve bunları incelenmek üzere farklı üyelerle kolayca paylaşmasına olanak tanır. Sürüm kontrolü özelliği aynı zamanda 3D varlıklar üzerindeki kontrolümüzü de geliştirerek revizyonları rahatlıkla yönetmemizi sağlar. Sorunlar ortaya çıkarsa, sorunsuz varlık yönetimi sağlayarak ve riskleri en aza indirerek önceki sürümlere zahmetsizce dönebiliriz.

Ayrıca Omniverse Nucleus ekip işbirliğini kolaylaştırmada hayati bir rol oynuyor. Ekibimizin yeni tasarımlara hızlı bir şekilde uyum sağlamasına ve bunları incelenmek üzere farklı üyelerle kolayca paylaşmasına olanak tanır. Sürüm kontrolü özelliği aynı zamanda 3D varlıklar üzerindeki kontrolümüzü de geliştirerek revizyonları rahatlıkla yönetmemizi sağlar. Sorunlar ortaya çıkarsa, sorunsuz varlık yönetimi sağlayarak ve riskleri en aza indirerek önceki sürümlere zahmetsizce dönebiliriz.

NVIDIA ve Adobe Ekosistemleri

Haining: NVIDIA ve Adobe sektörde çok büyük yenilikçiler ve ürünleri bizim gibi sanatçıların işimizi daha hızlı ve daha kolay yapmasına yardımcı olmak için gelişmeye devam ediyor. Bu bizi yeni araçlarını öğrenmeye motive ederek 3D sektörünün ön saflarında yer almamızı sağlıyor.

Genişletilmiş kredi, Amazon Robotics Sanal Sistemler Ekibi’nden Brian Basile, Jie Chen, Katherine Hecht, Jenny Zhang, Lucas Tomaselli ve Divyansh Mishra’ya verildi.

Amazon Robotics şu sorunla karşı karşıya kaldığında: Binlerce varlık için sentetik veri modelleri oluşturmanın ve Amazon’un depo operasyonları için simülasyonlar çalıştırmanın çifte zorluğu nedeniyle Substance, Houdini ve Omniverse’nin birlikte kullanılması oyunun kurallarını değiştirdi. Binlerce prosedür varlığını rastgele oluşturmak için Substance 3D ve Houdini’yi kullanmak, 3D tasarımcılardan oluşan küçük bir ekibin akıcı ve otomatikleştirilmiş bir süreç oluşturmasına olanak sağladı. Bu araçların NVIDIA Omniverse USD Composer ile entegrasyonu ve uyumluluğu sayesinde ekip, makine öğrenimini ve veri modellerini çok daha kısa sürede eğitmek için yüksek kaliteli simülasyonları başarıyla çalıştırmayı başardı.