AWS What's New、技術仕様の更新内容を公表

Amazon EMRは、Apache Spark 4.0.2の一般提供（GA）を開始しました。これにより、EMRの3つのデプロイモデルすべてでSpark 4.0.2が利用可能になります。今回のアップデートは、データパイプラインの構築と管理を簡素化し、データセキュリティとコンプライアンスを強化することを目的としています。

Spark 4.0.2の導入により、ANSI SQLとVARIANTデータ型のサポートが追加され、より柔軟なデータ操作が可能になりました。また、行レベルおよび列レベルでのきめ細やかなアクセス制御（FGAC）が適用できるようになり、機密データに対するセキュリティとガバナンスフレームワークを強化できます。既存のEMRアプリケーションをアップグレードする際には、Apache Spark upgrade agentを利用して移行を加速できます。

Apache Spark 4.0.2は、EMRが利用可能なすべてのリージョンで提供されます。この機能強化は、データ分析基盤の運用効率とセキュリティ要件の向上に貢献します。