Abstracts Engineering

Deep Multiple Description Coding for Semantic Communication : Theory and Practice

by Martin Lindström

With the era of wirelessly connected Internet of Things (IoT) devices on the horizon, eective data processing algorithms for IoT devices are of increasing importance. IoT devices often have limited power and computational resources, making data processing on the device unfeasible. Computational ooading, where the raw data is transmitted to a separate server, places a high load on the communication network, which in some cases may be prohibitively expensive. A split computing framework where some data pre-processing is done on the device, but the bulk of computations are done on a server at the network edge, provides a compromise between these limitations. Here, we employ a split computing framework in a semantic communication setting, where the semantic task is image classification. The system should fulfill three design requirements: low computational load on the IoT device, low load on the communication network, and good classification performance. We investigate the performance of two neural network structures: the first network is based on the VGG16 image classification network, and the second is the VGG16 network is augmented by separate encoder and decoder networks. The results are promising under both ideal and non-ideal channel conditions, where the first network gives good classification performance and low load on the communication network. The second network has low load on the IoT device, but surprisingly poor classification performance. Finally, we provide important insights into design choices and pitfalls, particularly reagrding network architecture and training, and hope that these results can aid future work in semantic communication systems. I takt med att allt fler av våra system kopplas upp för kommunikation via internet, så kallad Internet of Things (IoT), får eektiva databehandlingsalgoritmer för dessa enheter av allt större betydelse. IoT-enheter har ofta begränsat minne, batteritid, och beräkningsresurser, vilket försvårar databehandling på enheten. Beräkningsavlastning, där rådata skickas till en separat server för behandling, kan leda till en hög belastning på kommunikationsnätverket, vilket i vissa fall är kostsamt. Att dela upp beräkningarna, där viss bearbetning av data görs på enheten men huvuddelen av beräkningarna görs på en server, är kompromiss mellan dessa två begränsningar. Här använder vi ett delat beräkningsramverk för semantisk kommunikation, där den semantiska uppgiften är bildklassificering. Systemet ska uppfylla tre designkrav: låg arbetsbelastning på IoT-enheten, låg belastning på kommunikationsnätverket och god klassificeringsprestanda. Vi undersöker två neurala nätverksstrukturer: den första är baserad på bildklassificeraren VGG16, och i den andra är VGG16-nätverket utökat med separata kodar- och avkodarnätverk. Resultaten är lovande under både ideala och icke-ideala förhållanden i kommunikationskanalen, där det första nätverket ger god klassificeringsprestanda och låg belastning på kommunikationsnätverket. Det andra nätverket har låg belastning på…