原创 NXP iMX8基于Qtwayland配置双屏显示

2020-11-20 09:39 463 0 分类: MCU/ 嵌入式

By Toradex秦海

1). 简介

嵌入式平台多屏显示是比较常见的功能,在NXP iMX6上面,由于使用了基于fbdev/X11的显示接口驱动和显示服务,可以比较方便的通过framebuffer方式来实现多屏显示,Qt也提供了想eglfs或者linuxfs这样的组件来对接。而基于NXP新的iMX8平台,由于使用了DRM/KMS显示接口驱动和Wayland显示服务,多屏显示的实现思路可能有如下几种,而本文就演示基于Qtwayland 组件来实现双屏独立显示。

./ 通过底层IPU驱动来实现,主要可以比较灵活的实现如clone模式等,但难度比较大,需要对iMX8 底层IPU驱动有比较深入的了解

./ 如果是通过iMX8 双通道LVDS,连接两个单通道的LVDS屏幕,可以通过device tree ldb节点”dual-mode”来实现clone显示

./ iMX8默认的wayland/Weston compositor默认支持多屏扩展模式显示,但是9.0以下版本无法对应用程序窗口进行定位,9.0以后引入了Kiosk shell支持,则可以通过应用程序窗口定位到不同屏幕实现多屏独立显示的效果

./ 使用Qtwayland组件构建wayland compositor,可以方便的实现多屏独立显示,在多屏都是同样分辨率前提下,也可以实现clone显示

 

本文所使用的ARM嵌入式平台来自于Toradex 基于NXP最新的iMX8 SoC(基于Cortex-A72+A53Coretex-M4架构)的ARM计算机模块Apalis iMX8QM 4GB WB IT

 

 

2). 准备

a). Apalis iMX8QM 4GB WB IT ARM核心版配合Ioxra 载板,连接调试串口UART1(载板X22)到开发主机方便调试。

 

b). Apalis iMX8支持HDMILVDS显示接口,分别连接如下两个屏幕

./ 13.3 inch HDMI panel 显示屏,分辨率1920x1080,支持USB接口电容式触摸,将触摸接口连接到Ixora 载板USB接口

./ 10.1 inch LVDS 显示屏,分辨率1280x800,支持I2C接口电容式触摸,将触摸接口连接到Ixora载板X24连接器

 

c). USB UVC标准摄像头连接到Ixora载板用于Gstreamer测试

 

 

3). Apalis iMX8 Ycoto Linux 编译部署以及配置

a). Apalis iMX8 Ycoto Linux 通过Ycoto/Openembedded 框架编译,具体的配置方法请参考这里,参考如下修改后编译Reference-Multimedia image镜像

-------------------------------

# local.conf,增加eglfskms支持

+ PACKAGECONFIG_append_pn-qtbase = " sql-sqlite eglfs kms"

+ PACKAGECONFIG_append_pn-qtmultimedia = " gstreamer"

+ ACCEPT_FSL_EULA = "1"

 

# layers/meta-toradex-demos/recipes-images/images/tdx-reference-multimedia-image.bb,增加SDK populate

+ inherit populate_sdk populate_sdk_qt5

 

# compile Reference-Multimedia image

$ bitbake bitbake tdx-reference-multimedia-image

 

# compile SDK

bitbake tdx-reference-multimedia-image -c populate_sdk

-------------------------------

 

b). Ycoto Linux image部署

参考这里通过Toradex Easy installer将上面编译好的image更新部署到模块,版本为目前最新的Ycoto Linux V5.1

 

c). 显示配置

./ HDMI默认即可正常显示,如果有显示器EDID读取问题不能成功显示,可以通过下面方法通过软件firmware方式手动加载EDID,更多关于显示的配置请参考这里

-------------------------------

# cp EDID binary file to rootfs

$ mkdir /lib/firmware/edid

$ cp 1920x1080.bin /lib/firmware/edid

 

# set uboot kernel command line

# setenv defargs ‘pci=nomsi drm.edid_firmware=HDMI-A-1:edid/1920x1080.bin’

# saveenv && reset

-------------------------------

 

./ LVDS 显示,Ycoto Linux V5.1默认device treeLVDSdisable的,需要通过下面方式加载对应device tree overlayenabledevice tree overlay的更多说明请参考这里

-------------------------------

# overlay files path

root@apalis-imx8:~# ls /media/mmcblk0p1/overlays/

apalis-imx8_atmel-mxt_overlay.dtbo          apalis-imx8x_parallel-rgb_overlay.dtbo

apalis-imx8_lvds_overlay.dtbo               display-edt5.7_overlay.dtbo

apalis-imx8x_ad7879_overlay.dtbo            display-edt7_overlay.dtbo

apalis-imx8x_atmel-mxt_overlay.dtbo         display-fullhd_overlay.dtbo

apalis-imx8x_display-lt161010_overlay.dtbo  display-lt161010_overlay.dtbo

apalis-imx8x_display-lt170410_overlay.dtbo  display-lt170410_overlay.dtbo

 

# add lvds and i2c touch(atmel) related overlay file to /media/mmcblk0p1/overlays.txt

fdt_overlays=overlays/apalis-imx8_lvds_overlay.dtbo overlays/display-lt170410_overlay.dtbo overlays/apalis-imx8_atmel-mxt_overlay.dtbo

-------------------------------

 

./ 触摸设备测试,通过”evetst”命令

-------------------------------

# list all devices

root@apalis-imx8:~# evtest

No device specified, trying to scan all of /dev/input/event*

Available devices:

/dev/input/event0:      sc-powerkey

/dev/input/event1:      gpio-keys

/dev/input/event2:      HID 27c0:0818

/dev/input/event3:      USB 2.0 Camera: HD USB Camera

/dev/input/event4:      Atmel maXTouch Touchscreen

 

# from above output

./ event2 is HDMI display USB HID capacitive touch device

./ event4 is LVDS display I2C capacitive touch device

-------------------------------

 

 

4). Qtwayland compositor 编译部署

a). Qt Qtwayland组件可以非常方便的使用QML语言开发定制化的wayland compositor,详细说明请见这里,也提供了很多sample project供参考

 

b). 本文测试所使用的qtwayland compositor来自于Toradex Europe FAE Stefan Eichenberger,源代码请参考这里,这是一个用于双屏显示的qtwayland compositor

 

c). 参考这里说明使用上面章节 3.a编译出的SDK文件配置qtcreator交叉编译环境,下载dual-screen qtwayland compositor代码后进行编译,生成dual-screen可执行二进制文件上传到Apalis iMX8系统中

 

d). 使用编译好的dual-screen qtwayland compositor 替换系统默认的weston compositor

./ 创建dual-screen.sh执行脚本文件

-------------------------------

# copy dual-screen binary to /usr/bin

$ cp dual-screen /usr/bin/

 

# create dual-screen.sh script, detailed content in below

$ vi /usr/bin/dual-screen.sh

 

# add executable permission

$ chmod +x dual-screen.sh

-------------------------------

 

./ dual-screen.sh – 由于系统包含三个input设备,两个触摸设备和一个USB摄像头,在启动过程中,其对应的event 号码可能会变化,因此脚本前面先对 “kms.conf” 文件里面的设置和系统启动后的设备event进行比对,如果一致则直接启动compositor,如不一致则需要先修改 ”kms.conf” 文件后再启动compositor。这里使用的ts0/ts1 symbol 链接则是在下面udev rule文件中定义的。

-------------------------------

# get system touch device event number

 

while [ ! -e /dev/input/ts0 ]

do

sleep 0.1

done

ts0=$(readlink /dev/input/ts0)

 

while [ ! -e /dev/input/ts1 ]

do

sleep 0.1

done

ts1=$(readlink /dev/input/ts1)

 

# compare with kms.conf settings

while [ ! -e /etc/kms.conf ]

do

sleep 0.1

done

ts_hdmi=$(sed -n 8p /etc/kms.conf|cut -d '"' -f4|cut -d '/' -f4)

ts_lvds=$(sed -n 13p /etc/kms.conf|cut -d '"' -f4|cut -d '/' -f4)

 

# modify kms.conf if seetings is not consistent with system event

if [ "$ts_hdmi"!="$ts0" ];then

sed -i "8 s/event.*/$ts0\"\,/g" /etc/kms.conf

fi

 

if [ "$ts_lvds"!="$ts1" ];then

sed -i "13 s/event.*/$ts1\"\,/g" /etc/kms.conf

fi

 

# execute qtwayland compositor

/usr/bin/dual-screen &

-------------------------------

 

./ 创建systemd service 文件

-------------------------------

# /lib/systemd/system/qtwayland@.service

[Unit]

Description=Qt Wayland Compositor   

RequiresMountsFor=/run

Conflicts=plymouth-quit.service

After=systemd-user-sessions.service plymouth-quit-wait.service

 

[Service]

User=%i

PAMName=login

Environment="QT_QPA_EGLFS_KMS_CONFIG=/etc/kms.conf"

Environment="QT_QPA_EGLFS_INTEGRATION=eglfs_kms"

Environment="QT_QPA_PLATFORM=eglfs"

Environment="QT_QPA_EGLFS_KMS_ATOMIC=1"

Environment="QT_QPA_EGLFS_NO_LIBINPUT=1"

StandardError=journal

PermissionsStartOnly=true

IgnoreSIGPIPE=no

 

ExecStart=/usr/bin/dual-screen.sh

 

通过 /etc/kms.conf 文件来配置KMS显示接口设备,”touchDevice” 参数对应 3.c章节中测试的event,更多关于Qt eglfs DRM/KMS的配置说明请参考这里

$ vi /etc/kms.conf

{

  "device": "/dev/dri/card0",

  "hwcursor": true,

  "pbuffers": false,

  "outputs": [

      { "name": "HDMI1",

        "mode": "1920x1080",

        "touchDevice": "/dev/input/event2",

        "virtualIndex": 0, "primary": true

      },

      { "name": "LVDS1",

        "mode": "1280x800",

        "touchDevice": "/dev/input/event4",

        "virtualIndex": 1

      }

  ]

}

-------------------------------

./ 创建新的udev rule替换系统默认的weston udev rule

-------------------------------

# remove default weston udev rule

$ rm /etc/udev/rules.d/71-weston-drm.rules

# add qtwayland rule

$ vi /etc/udev/rules.d/71-qtwayland-drm.rules

# connect HDMI HID touchscreen and LVDS I2C touchscreen with fix symlink

SUBSYSTEM=="input" KERNEL=="event*" ATTRS{name} =="HID 27c0:0818",       SYMLINK+="input/ts0"

SUBSYSTEM=="input" KERNEL=="event*" ATTRS{name} =="Atmel maXTouch Touchscreen",       SYMLINK+="input/ts1

# start qtwayland compositor

ACTION=="add", SUBSYSTEM=="graphics", KERNEL=="fb0", TAG+="systemd", ENV{SYSTEMD_WANTS}+="qtwayland@root.service"

ACTION=="add", SUBSYSTEM=="drm", KERNEL=="card0", TAG+="systemd", ENV{SYSTEMD_WANTS}+="qtwayland@root.service"

-------------------------------

 

e). 测试qtwayland compositor

-------------------------------

# disable default wayland qt demo app systemd service

$ systemctl disable wayland-app-launch

$ reboot

-------------------------------

 

重启后,可以看到下面双屏显示结果,qtwayland compositor启动成功

                                              image001.png

 

 

5). Gstreamer测试

a). 分别运行两个gstreamer pipeline,然后qtwayland compositor会将第一个运行的pipeline显示在HDMI显示器上面,第二个运行的显示在LVDS显示器上面

 

b). Gstreamer pipeline 1 - USB摄像头播放,关于gstreamer使用的更多说明请参考这里

-------------------------------

$ gst-launch-1.0 v4l2src device=/dev/video2 ! 'image/jpeg,width=1920,height=1080,frame

rate=30/1' ! jpegdec ! videoconvert ! waylandsink fullscreen=1 sync=false &

-------------------------------

 

c). Gstreamer pipeline 2 – gstreamer 测试pipeline

-------------------------------

$ gst-launch-1.0 videotestsrc ! waylandsink fullscreen=1

-------------------------------

 

d). 实际运行效果如下

image002.png

 

 

6). Qt应用测试

a). 分别使用一个Qt Widget应用和一个Qt Quick应用进行测试

./ Qt Widget应用 – 读取系统时间和CPU温度,同时调用sqlite数据库进行保存的应用,详细说明请参考这里,将编译好的可执行binary “qt-sqlite” 上传到Apalis iMX8

./ Qt Quick 应用 – 调用qtmultimedia组件播放视频以及摄像头,详细说明请参考这里,将编译好的可执行binary “videotest” 上传到Apalis iMX8

 

b). 创建应用启动脚本

-------------------------------

$ vi /usr/bin/qtwayland-app-launch.sh

#!/bin/sh

if test -z "$XDG_RUNTIME_DIR"; then

    export XDG_RUNTIME_DIR=/run/user/`id -u`

    if ! test -d "$XDG_RUNTIME_DIR"; then

        mkdir --parents $XDG_RUNTIME_DIR

        chmod 0700 $XDG_RUNTIME_DIR

    fi

fi

 

# wait for qtwayland

while [ ! -e  $XDG_RUNTIME_DIR/wayland-0 ] ; do sleep 0.1; done

sleep 1

 

/home/root/videotest -url file:///home/root/ready-player-one-trailer-2_h720p.mov &

sleep 1

/home/root/qt-sqlite &

-------------------------------

 

c). 创建开机自启动systemd service文件

-------------------------------

$ vi /lib/systemd/system/qtwayland-app-launch.service

[Unit]

Description=Start a Qt wayland application

After=qtwayland@root.service

Requires=qtwayland@root.service

 

[Service]

Restart=on-failure

Type=forking

Environment="QT_QPA_PLATFORM=wayland"

ExecStart=/usr/bin/qtwayland-app-launch.sh

RestartSec=1

 

[Install]

WantedBy=multi-user.target

-------------------------------

 

d). enable service 并测试

-------------------------------

$ systemctl enable qtwayland-app-launch

$ reboot

-------------------------------

 

e). 重启后效果如下,两个屏幕的触摸都可以分别正常使用

image003.png

 

 

5). 总结

本文在iMX8嵌入式平台下使用Qtwayland工具测试了HDMI/LVDS双屏独立显示功能。

 

 

参考文档

https://developer.toradex.cn/knowledge-base/display-output-resolution-and-timings-linux

https://doc.qt.io/qt-5/embedded-linux.html#embedded-eglfs

https://github.com/eichenberger/qt-dual-screen-compositor 


作者: hai.qin_651820742, 来源:面包板社区

链接: https://mbb.eet-china.com/blog/uid-me-1864768.html

版权声明:本文为博主原创,未经本人允许,禁止转载!

文章评论0条评论)

登录后参与讨论
相关推荐阅读
hai.qin_651820742 2020-11-17 10:46
使用Squashfs和Overlayfs提高嵌入式Linux文件系统可靠性
By Toradex胡珊逢 在使用嵌入式 Linux 系统的时,会出现由于设备意外断电引起文件系统损坏而最终使该设备无法启动的现象。为了应对这种情况,通常会从硬件设计如采...
hai.qin_651820742 2020-10-29 14:24
RT-Linux在IMX8上的使用
By Toradex胡珊逢 Real-time Linux 是指在普通 Linux 内核打上 PREEMPT_RT补丁后使内核满足实时要求。下面我们将...
hai.qin_651820742 2020-10-23 17:51
嵌入式平台WIFI AP模式测试
By Toradex秦海1). 简介本文介绍基于ARM嵌入式平台使用开源Hostapd软件配置测试WiFi Access Point模式,也就是AP模式。 本文所使用的ARM嵌入式...
hai.qin_651820742 2020-10-15 10:43
DeviceTreeOverlay使用
By Toradex 胡珊逢1). 简介目前较新的 Linux 内核都支持  Device Tree 来管理外设,这对嵌入式设备来说显得尤为...
hai.qin_651820742 2020-09-30 15:13
在 Windows 中使用 WSL 编译 Linux 和 U-Boot
By Toradex 胡珊逢1). 简介通常当编译 Linux、U-Boot 相关源代码时,由于编译工具或者文件系统限制,这些任务需要在 Linux&...
广告
我要评论
0
0
1
2
3
4
5
6
7
8
9
0
广告
关闭 热点推荐上一条 /2 下一条