GP
ток на мап стейдже чето происходило
Size: a a a
2020 April 04
GP
блин похоже у тебя нет выбора надо принты добавить
GP
у спарка там были кодоген тесты
ПФ
Включённый холстейдж
https://paste.ofcode.org/aZ3hitSE5DGaq2xsSTCx6T
Выключенный
https://paste.ofcode.org/76CPaNij3FALkdkqtNEAqN
https://paste.ofcode.org/aZ3hitSE5DGaq2xsSTCx6T
Выключенный
https://paste.ofcode.org/76CPaNij3FALkdkqtNEAqN
ПФ
На самом деле там немало исходники отличаются
GP
может в UnsafeRowWriterе дело
GP
жоско отличаются да
ПФ
блин, я загнал их в дифф и там почти ничего общего )))
ПФ
но вот что интересно: конвертер InternalRow в UnsafeRow выглядит по-разному
GP
мне кажется надо гдет тут смотреть да
ПФ
Выглядит так, как будто wholestage пытается свести работу к работе с чиселкой
ПФ
вот код в нём:
/* 031 */ boolean isNull_1 = i.isNullAt(0);
/* 032 */ java.lang.Integer value_1 = isNull_1 ?
/* 033 */ null : ((java.lang.Integer)i.get(0, null));
/* 034 */ boolean isNull_0 = true;
/* 035 */ int value_0 = -1;
/* 036 */ if (!isNull_1) {
/* 037 */
/* 038 */ isNull_0 = false;
/* 039 */ if (!isNull_0) {
/* 040 */ value_0 = value_1.intValue();
/* 041 */ }
/* 042 */ }
/* 043 */ if (isNull_0) {
/* 044 */ mutableStateArray_0[0].setNullAt(0);
/* 045 */ } else {
/* 046 */ mutableStateArray_0[0].write(0, value_0);
/* 047 */ }
/* 048 */ return (mutableStateArray_0[0].getRow());
/* 049 */ }
ПФ
А вот без него
/* 031 */ boolean isNull_3 = i.isNullAt(0);
/* 032 */ org.jetbrains.spark.api.Arity1 value_3 = isNull_3 ?
/* 033 */ null : ((org.jetbrains.spark.api.Arity1)i.get(0, null));
/* 034 */ if (isNull_3) {
/* 035 */ throw new NullPointerException(((java.lang.String) references[0] /* errMsg */));
/* 036 */ }
/* 037 */ boolean isNull_1 = true;
/* 038 */ java.lang.Integer value_1 = null;
/* 039 */ if (!false) {
/* 040 */
/* 041 */ isNull_1 = false;
/* 042 */ if (!isNull_1) {
/* 043 */
/* 044 */ Object funcResult_0 = null;
/* 045 */ funcResult_0 = value_3.getA();
/* 046 */
/* 047 */ if (funcResult_0 != null) {
/* 048 */ value_1 = (java.lang.Integer) funcResult_0;
/* 049 */ } else {
/* 050 */ isNull_1 = true;
/* 051 */ }
/* 052 */
/* 053 */
/* 054 */ }
/* 055 */ }
/* 056 */ boolean isNull_0 = true;
/* 057 */ int value_0 = -1;
/* 058 */ if (!isNull_1) {
/* 059 */
/* 060 */ isNull_0 = false;
/* 061 */ if (!isNull_0) {
/* 062 */ value_0 = value_1.intValue();
/* 063 */ }
/* 064 */ }
/* 065 */ if (isNull_0) {
/* 066 */ mutableStateArray_0[0].setNullAt(0);
/* 067 */ } else {
/* 068 */ mutableStateArray_0[0].write(0, value_0);
/* 069 */ }
/* 070 */ return (mutableStateArray_0[0].getRow());
/* 071 */ }
/* 072 */
/* 073 */
ПФ
Но если присмотреться там тож должно вылететь исключение!
ПФ
А есть разница как поднимать спарк? local, local[*], local [2]?
GP
А есть разница как поднимать спарк? local, local[*], local [2]?
для этог конкретно кейса нет
а вообще да это колво ядер
а вообще да это колво ядер
ПФ
Я имел в виду может ли оно себя локально по разному вести )))
GP
GP
я одним ядром когда заранишь вообще шафл на локале не стриггерить (пример различия в поведении тебе вот)
GP