Сб, 05.10.2024, 10:29
Приветствую Вас Гость | RSS
Главная | DFSORT и zIIP - Форум | Регистрация | Вход
Форма входа
[ Новые сообщения · Участники · Правила форума · Поиск · RSS ]
  • Страница 1 из 1
  • 1
DFSORT и zIIP
drblezДата: Ср, 13.03.2013, 09:33 | Сообщение # 1
Сержант
Группа: Доверенные
Сообщений: 37
Репутация: 2
Статус: Offline
Не получается, что бы дфсорт, зараза, передавал работу на зиип, если он вызывается из дибитушных утилит...

Не дайте помереть молодым.

Все мануалы скурил... Скручиваю, что ли, их неправильно... Может есть волшебство какое.

z/OS 1.11, DFSORT 1.10

Добавлено (11.03.2013, 21:59)
---------------------------------------------
zIIP'ы видны, ибо Явовские задачи туда уходят... А заветной надписи, про то, что MSGICE256I DFSORT CODE IS ELIGIBLE TO USE ZIIP FOR THIS DB2 UTILITY RUN. не появляется

DB2 10, если что ))

Добавлено (12.03.2013, 10:56)
---------------------------------------------
DB2 9 for z/OS: Using the Utilities Suite -- покурил... Не помогло

Добавлено (12.03.2013, 11:18)
---------------------------------------------
ICE200I 0 IDENTIFIER FROM CALLING PROGRAM IS 0000                                                                  
ICE143I 0 BLOCKSET     SORT  TECHNIQUE SELECTED                                                                    
ICE250I 0 VISIT http://www.ibm.com/storage/dfsort FOR DFSORT PAPERS, EXAMPLES AND MORE                             
ICE000I 0 - CONTROL STATEMENTS FOR 5694-A01, Z/OS DFSORT V1R10 - 17:55 ON MON MAR 11, 2013 -                       
          SORT FIELDS=(00043.0,00006.0,A),FORMAT=BI,FILSZ=U000000040220573                                         
          RECORD TYPE=F,LENGTH=(00048,00048,00048)                                                                 
          OPTION MSGPRT=ALL,MSGDDN=UTPRINT,MAINSIZE=MAX,USEWKDD,NOEQUALS                                           
ICE201I H RECORD TYPE IS F - DATA STARTS IN POSITION 1                                                             
ICE751I 0 C5-K90025 C6-K90025 C7-K54603 C8-K62201 E4-K51707 C9-BASE   E5-K62201 E7-K62201                          
ICE193I 0 ICEAM2 INVOCATION ENVIRONMENT IN EFFECT - ICEAM2 ENVIRONMENT SELECTED                                    
ICE252I 2 PARMLIB OPTIONS WERE MERGED WITH INSTALLATION MODULE DEFAULTS                                            
ICE089I 1 ANDREWD .CHECK   .        , INPUT LRECL = 48, TYPE = F                                                   
ICE093I 0 MAIN STORAGE = (MAX,16734715,16734715)                                                                   
ICE156I 0 MAIN STORAGE ABOVE 16MB = (16677355,16677355)                                                            
ICE127I 0 OPTIONS: OVFLO=RC0 ,PAD=RC0 ,TRUNC=RC0 ,SPANINC=RC16,VLSCMP=N,SZERO=Y,RESET=Y,VSAMEMT=Y,DYNSPC=256       
ICE128I 0 OPTIONS: SIZE=16734715,MAXLIM=1048576,MINLIM=450560,EQUALS=N,LIST=Y,ERET=RC16 ,MSGDDN=UTPRINT            
ICE129I 0 OPTIONS: VIO=N,RESDNT=ALL ,SMF=FULL ,WRKSEC=Y,OUTSEC=Y,VERIFY=N,CHALT=N,DYNALOC=N             ,ABCODE=MSG
ICE130I 0 OPTIONS: RESALL=4096,RESINV=0,SVC=109 ,CHECK=Y,WRKREL=Y,OUTREL=Y,CKPT=N,COBEXIT=COB2                     
ICE131I 0 OPTIONS: TMAXLIM=6291456,ARESALL=0,ARESINV=0,OVERRGN=16384,CINV=Y,CFW=Y,DSA=64                           
ICE132I 0 OPTIONS: VLSHRT=N,ZDPRINT=Y,IEXIT=N,TEXIT=N,LISTX=N,EFS=NONE    ,EXITCK=S,PARMDDN=DFSPARM ,FSZEST=N      
ICE133I 0 OPTIONS: HIPRMAX=OPTIMAL,DSPSIZE=MAX ,ODMAXBF=0,SOLRF=Y,VLLONG=N,VSAMIO=N,MOSIZE=MAX                     
ICE235I 0 OPTIONS: NULLOUT=RC0                                                                                     
ICE750I 0 DC 0 TC 0 CS DSVVV KSZ 6 VSZ 6                                                                           
ICE752I 0 FSZ=40220573 RU  IGN=0 C  AVG=48 0  WSP=2507502 U  DYN=0 0                                               
ICE751I 1 DE-K61785 D5-K62201 D3-BASE   D7-BASE   E8-K61438                                                        
ICE091I 0 OUTPUT LRECL = 48, TYPE = F                                                                              
ICE055I 0 INSERT 40220573, DELETE 40220573                                                                         
ICE054I 0 RECORDS - IN: 0, OUT: 0                                                                                  
ICE134I 0 NUMBER OF BYTES SORTED: 1930587504                                                                       
ICE253I 0 RECORDS SORTED - PROCESSED: 40220573, EXPECTED: 40220573                                                 
ICE165I 0 TOTAL WORK DATA SET TRACKS ALLOCATED: 41385 , TRACKS USED: 34470                                         
ICE199I 0 MEMORY OBJECT STORAGE USED = 0M BYTES                                                                    
ICE180I 0 HIPERSPACE STORAGE USED = 241128K BYTES <-- Вот почему он тут сортирует, а не в памяти?
ICE188I 0 DATA SPACE STORAGE USED = 0K BYTES                                                                       
ICE026I 1 SMF RECORD NOT WRITTEN TO THE SMF DATA SET(RC=36)                                                        
ICE052I 0 END OF DFSORT

Добавлено (12.03.2013, 11:23)
---------------------------------------------
Поговори, хоть ты со мной, подруга семиструнная...

Добавлено (12.03.2013, 12:08)
---------------------------------------------
DFSORT defaults (нужная колонка ICE193I 0 ICEAM2 INVOCATION ENVIRONMENT IN EFFECT - ICEAM2 ENVIRONMENT SELECTED) :

ITEM           JCL (ICEAM1) VALUE       INV (ICEAM2) VALUE  
----------     --------------------     --------------------
ENABLE         NONE                     NONE                
                                                            
ABCODE         MSG                      MSG                 
ALTSEQ         SEE BELOW                SEE BELOW           
ARESALL        0                        0                   
ARESINV        NOT APPLICABLE           0                   
CFW            YES                      YES                 
CHALT          NO                       NO                  
CHECK          YES                      YES                 
CINV           YES                      YES                 
COBEXIT        COB2                     COB2                
DIAGSIM        NO                       NO                  
DSA            2000                     2000                
               * 64                     * 64                
DSPSIZE        MAX                      MAX                 
DYNALOC        (SYSDA,4)                (SYSDA,4)           
DYNAUTO        YES                      YES                 
DYNSPC         256                      256                 
EFS            NONE                     NONE                
EQUALS         VLBLKSET                 VLBLKSET            
ERET           RC16                     RC16                
ESTAE          YES                      YES                 
EXITCK         STRONG                   STRONG              
EXPMAX         MAX                      MAX                 
EXPOLD         MAX                      0                   
                                        * MAX               
EXPRES         0                        0                   
FSZEST         NO                       NO                  
GENER          NOT APPLICABLE           IEBGENR             
GNPAD          NOT APPLICABLE           RC0                 
GNTRUNC        NOT APPLICABLE           RC0                 
HIPRMAX        OPTIMAL                  OPTIMAL             
IDRCPCT        NONE                     NONE                
IEXIT          NO                       NO                  
IGNCKPT        YES                      YES                 
IOMAXBF        35651584                 35651584
           
LIST           YES                      YES    
LISTX          YES                      YES    
LOCALE         NONE                     NONE   
MAXLIM         1048576                  1048576
MINLIM         450560                   450560 
MOSIZE         MAX                      MAX    
MSGCON         NONE                     NONE   
MSGDDN         SYSOUT                   SYSOUT 
MSGPRT         ALL                      ALL    
NOMSGDD        QUIT                     QUIT   
NULLOFL        RC0                      RC0    
NULLOUT        RC0                      RC0    
ODMAXBF        2097152                  2097152
OUTREL         YES                      YES    
OUTSEC         YES                      YES    
OVERRGN        65536                    16384
 
OVFLO          RC0                      RC0                 
PAD            RC0                      RC0                 
PARMDDN        DFSPARM                  DFSPARM             
RESALL         4096                     4096                
RESET          YES                      YES                 
RESINV         NOT APPLICABLE           0                   
SDB            INPUT                    INPUT               
SDBMSG         NO                       NO                  
SIZE           MAX                      MAX                 
SMF            NO                       FULL                
                                        * NO                
SOLRF          YES                      YES                 
SORTLIB        PRIVATE                  PRIVATE             
SPANINC        RC16                     RC16                
SVC            109                      109                 
SZERO          YES                      YES                 
TEXIT          NO                       NO                  
TMAXLIM        6291456                  6291456             
TRUNC          RC0                      RC0                 
VERIFY         NO                       NO                  
VIO            NO                       NO                  
VLLONG         NO                       NO                  
VLSCMP         NO                       NO                  
VLSHRT         NO                       NO                  
VSAMBSP        OPTIMAL                  OPTIMAL             
VSAMEMT        YES                      YES                 
VSAMIO         NO                       NO                  
WRKREL         YES                      YES                 
WRKSEC         YES                      YES                 
Y2PAST         80                       80                  
ZDPRINT        YES                      YES

Добавлено (12.03.2013, 12:42)
---------------------------------------------
Сейчас написало то, что надо, но я не увидел (в DA), что бы была нагрузка на zIIP (нагрузку от ява-процедур я там вижу, скажем)

ICE200I 0 IDENTIFIER FROM CALLING PROGRAM IS 0000                                                                  
ICE143I 0 BLOCKSET     SORT  TECHNIQUE SELECTED                                                                    
ICE250I 0 VISIT http://www.ibm.com/storage/dfsort FOR DFSORT PAPERS, EXAMPLES AND MORE                             
ICE000I 0 - CONTROL STATEMENTS FOR 5694-A01, Z/OS DFSORT V1R10 - 12:34 ON TUE MAR 12, 2013 -                       
          SORT FIELDS=(00043.0,00006.0,A),FORMAT=BI,FILSZ=U000000040729227                                         
          RECORD TYPE=F,LENGTH=(00048,00048,00048)                                                                 
          OPTION MSGPRT=ALL,MSGDDN=UTPRINT,MAINSIZE=MAX,USEWKDD,NOEQUALS                                           
ICE201I H RECORD TYPE IS F - DATA STARTS IN POSITION 1                                                             
ICE751I 0 C5-K90025 C6-K90025 C7-K54603 C8-K62201 E4-K51707 C9-BASE   E5-K62201 E7-K62201                          
ICE193I 0 ICEAM2 INVOCATION ENVIRONMENT IN EFFECT - ICEAM2 ENVIRONMENT SELECTED                                    
ICE252I 2 PARMLIB OPTIONS WERE MERGED WITH INSTALLATION MODULE DEFAULTS                                            
ICE089I 5 ANDREWD .CHECK   .        , INPUT LRECL = 48, TYPE = F                                                   
ICE093I 0 MAIN STORAGE = (MAX,16840201,16840201)                                                                   
ICE156I 0 MAIN STORAGE ABOVE 16MB = (16782841,16782841)                                                            
ICE127I 0 OPTIONS: OVFLO=RC0 ,PAD=RC0 ,TRUNC=RC0 ,SPANINC=RC16,VLSCMP=N,SZERO=Y,RESET=Y,VSAMEMT=Y,DYNSPC=256       
ICE128I 0 OPTIONS: SIZE=16840201,MAXLIM=1048576,MINLIM=450560,EQUALS=N,LIST=Y,ERET=RC16 ,MSGDDN=UTPRINT            
ICE129I 0 OPTIONS: VIO=N,RESDNT=ALL ,SMF=FULL ,WRKSEC=Y,OUTSEC=Y,VERIFY=N,CHALT=N,DYNALOC=N             ,ABCODE=MSG
ICE130I 0 OPTIONS: RESALL=4096,RESINV=0,SVC=109 ,CHECK=Y,WRKREL=Y,OUTREL=Y,CKPT=N,COBEXIT=COB2                     
ICE131I 0 OPTIONS: TMAXLIM=6291456,ARESALL=0,ARESINV=0,OVERRGN=16384,CINV=Y,CFW=Y,DSA=1534                         
ICE132I 0 OPTIONS: VLSHRT=N,ZDPRINT=Y,IEXIT=N,TEXIT=N,LISTX=N,EFS=NONE    ,EXITCK=S,PARMDDN=DFSPARM ,FSZEST=N      
ICE133I 0 OPTIONS: HIPRMAX=0      ,DSPSIZE=MAX ,ODMAXBF=0,SOLRF=Y,VLLONG=N,VSAMIO=N,MOSIZE=MAX                     
ICE235I 0 OPTIONS: NULLOUT=RC0                                                                                     
ICE750I 0 DC 0 TC 0 CS DSVVV KSZ 6 VSZ 6                                                                           
ICE752I 0 FSZ=40729227 RU  IGN=0 C  AVG=48 0  WSP=2539213 U  DYN=0 0                                               
ICE256I 0 DFSORT CODE IS ELIGIBLE TO USE ZIIP FOR THIS DB2 UTILITY RUN                                             
ICE751I 1 BA-K48846 BD-K69370 D3-BASE   D7-BASE   E8-K61438                                                        
ICE091I 0 OUTPUT LRECL = 48, TYPE = F                                                                              
ICE055I 0 INSERT 40729227, DELETE 40729227                                                                         
ICE054I 0 RECORDS - IN: 0, OUT: 0                                                                                  
ICE134I 0 NUMBER OF BYTES SORTED: 1955002896                                                                       
ICE253I 0 RECORDS SORTED - PROCESSED: 40729227, EXPECTED: 40729227                                                 
ICE165I 0 TOTAL WORK DATA SET TRACKS ALLOCATED: 41910 , TRACKS USED: 34650                                         
ICE199I 0 MEMORY OBJECT STORAGE USED = 109M BYTES                                                                  
ICE180I 0 HIPERSPACE STORAGE USED = 0K BYTES                                                                       
ICE188I 0 DATA SPACE STORAGE USED = 0K BYTES                                                                       
ICE026I 1 SMF RECORD NOT WRITTEN TO THE SMF DATA SET(RC=36)                                                        
ICE052I 0 END OF DFSORT

Добавлено (13.03.2013, 09:33)
---------------------------------------------
Так и помру... В неведении...

 
EHabarovДата: Ср, 13.03.2013, 12:54 | Сообщение # 2
Майор
Группа: Доверенные
Сообщений: 86
Репутация: 7
Статус: Offline
Может я конечно отстал от жизни, но Java-нагрузка обычно уходит только на zAAP-процессоры.
А для DB2 и утилит нужен zIIP и это "политически" разные процессоры.
Поэтому если процессор сконфигурирован как zAAP, то zIIP-нагрузка на него уходить не будет.

Судя по последним тенденциям IBM собирается отказаться от zAAP процессоров и исполнять zAAP-нагрузку на zIIP-процессорах (zAAP on zIIP), но для этого процессоры должны быть сконфигурированы как zIIP и, должны стоять обновления, разрешающие использовать zIIP-ы для zAAP-нагрузки.
System z Application Assist Processor (zAAP)
 
drblezДата: Ср, 13.03.2013, 14:24 | Сообщение # 3
Сержант
Группа: Доверенные
Сообщений: 37
Репутация: 2
Статус: Offline
У меня зиипы и стоят... заапов нет. и часть нагрузки, Java, DDF, TCP/IP идут на зиип... в z/VM я вижу, что зиипы заняты чем-то, но при запуске дфсорта в SDSF/DA ничего не видно совсем... и время выполнения задания никак не меняется, есть ICE256I или нет
 
EHabarovДата: Ср, 13.03.2013, 14:47 | Сообщение # 4
Майор
Группа: Доверенные
Сообщений: 86
Репутация: 7
Статус: Offline
Пардон, невнимательно прочитал обновление, что сообщение ICE256I таки появляется, а значит проблема не в наличии zAAP.
В редбуке по утилитам DB2 9 for z/OS: Using the Utilities Suite нашел следующую фразу про zIIP Offload:
Activated when DFSORT selects the object memory sorting method

В этом же документе есть описание параметров DFSORT, оптимальных для DB2.
DFSORT сам выбирает методику работы с памятью в каждом конкретном случае.
Object потребляет больше процессора, чем HiperSpace, но Object может быть обработан на zIIP.
Для работы Object-техники параметр MEMLIMIT задания должен быть ненулевым.
Выставляется MEMLIMIT или на уровне JOB/STEP, или глобально (через SMFPRMxx).

Опять же, в последней распечатке используется именно технология Memory Object.
Получается, что нужно внимательно смотреть отчет по работе задания с утилитой.
Либо анализировать записи SMF с типом 30, либо смотреть как это задание исполнялось по отчетам RMF (Mon2/ Mon3) или другой системы мониторинга производительности.
Для последнего случая (12.03.2013, 12:42) должен был использоваться zIIP.

Добавлено (13.03.2013, 14:43)
---------------------------------------------
SD.DA не самая надежная штука.
Надежнее смотреть в RMF->Monitor III->Resource->PROCU
Там в случае использования заданием zIIP должно присутствовать ненулевое значение в столбцах IIP.

Добавлено (13.03.2013, 14:47)
---------------------------------------------
А вовсе не факт, что использование zIIP для сортировки улучшит время работы задания.
Просто сортировка будет задействовать не общий процессор, а zIIP.
Количество нужных для сортировки процессорных операций из за этого не изменится.

 
drblezДата: Ср, 13.03.2013, 17:18 | Сообщение # 5
Сержант
Группа: Доверенные
Сообщений: 37
Репутация: 2
Статус: Offline
с помошью чудо-программки (http://www.smfreports.com) увидел, что ранстат, скажем уезжает весь на зиип (tcb - 20 сек, ziip - 10 мин)
а вот дфсорт -- tcb - 7 мин., ziip -- 20 сек.

надо попробовать другие утилиты и посмотреть, как будет зиип использоваться
 
  • Страница 1 из 1
  • 1
Поиск: